1908’de İstanbul’da doğdu. Küçük yaşta gösterdiği resim yeteneği nedeniyle, liseyi bitirinceye kadar Namık İsmail’in atölyesine devam etti. Almanya’ya giderek bir yıl Düsseldorf Akademisi Resim Bölümü’nde öğrenim gördükten sonra, 1929’da oradan ayrılarak Bonn, Hamburg ve Berlin üniversitelerinde felsefe ve sanat tarihi okudu. 1933’te Tübingen Üniversitesi’nde Hegels Aesthetik in Ihrem historischen Zusammenhang [Tarihsel Bağlamı İçinde Hegel’in Estetiği] adlı teziyle felsefe doktoru oldu. 1934’te Türkiye’ye dönerek
İÜ Edebiyat Fakültesi Felsefe Bölümü öğretim üyeliğine atanan İpşiroğlu, bir önceki yıl gerçekleştirilmiş olan üniversite reformunun yaşama geçirilmesinde yoğun emek verdi. 1939’da Martin Heidegger ve Max Scheler’de İnsan konulu teziyle doçent, 1943’te profesör unvanını aldı. 1930’ların sonuna doğru çalışmalarında daha çok sanat tarihine yer veren İpşiroğlu, fakültede Sanat Tarihi Bölümü’nün kurulması üzerine buraya geçti ve 1949’da bölüm başkanı oldu. 1956’da sanat tarihçisi Sabahattin Eyuboğlu’yla birlikte İÜ Film Merkezi’ni kurdu ve Anadolu uygarlıklarını geniş çevrelere tanıtmak ve benimsetmek amacıyla birçok film çekilmesini sağladı. Araştırmalarının yanı sıra yönetim görevleri de üstlenen İpşiroğlu, 1948-49 ve 1958-59’da iki kez dekanlık yaptı. 1960’ta ordinaryüs profesörlüğe yükseldi. 1961’de İslam sanatı dersleri vermek üzere Tübingen Üniversitesi’ne gitti, 1965’te İÜ’deki görevine döndü ve 1977’de emekliye ayrıldı. 1985’te İstanbul’da öldü.