Cüneyt Sermet, Türkiye'de cazın kilometre taşlarının dikilmeye başlandığı yerdeki, ağır bir-iki taştan biridir. Doğumu, aşağı yukarı Duke Ellington Orkestrası'nın kuruluşu ile aynı yıla rastladığı için, "Ben cazla aynı yaştayım" diyor. Babası Tahsin Sermet, Cumhuriyet döneminin ilk mimarlarından, Ankara'da bakanlık binalarının bir kısmı, Kız Teknik Öğretim Enstitüsü, İzmir Milli Kütüphanesi ve Elhamra Sineması hep onun elinden çıkmış. Oğlunu zaten tanımayan kalmadı. Monako Konservatuvarı Öğretim Üyesi ünlü piyanistimiz Hüseyin Sermet. Cüneyt Sermet sapasağlam bir köprüdür bu iki kuşak arasında.
Cazla Robert Kolej'de okuduğu yıllarda lambalı radyolar vasıtasıyla tanışan Cüneyt Sermet konservatuvara da gitmekle beraber daha ziyade kendi kendini yetiştirmek ve bir "autodidact" olmakla övünmektedir. 1945-52 arası kurduğu küçük gruplar ve büyük orkestra ile Türkiye'de modern caz müziğinin temellerini atan ve pek çok müzisyen yetiştiren Cüneyt Sermet, 1954'de evlenince çok sevdiği kontrbasını bir kenara bırakarak kendini hocalığa ve müzik tenkitçiliğine vermiştir.