17 Nisan 1899 tarihinde Azerbaycan'ın Gence şehrinde dünyaya geldi. Üç yaşındayken babası İsmail Bey'in ölümü üzerine annesi Güher Hanım tarafından büyütüldü. Orta öğrenimini 1908 yılında özel olarak Semerkant'ta, lise öğrenimini 1909-1916 yılları arasında Gence şehrinde tamamladı, aynı sene Kiev Yüksek Ticaret Okulu'na kaydoldu. Bu okula ancak üç sömestr Eylül 1916-Ocak 1918 tarihleri arasında devam edebildi, Rus İhtilâli'nin patlak vermesi üzerine Gence'ye geri döndü. Burada Azerbaycan'ın istiklali için çalıştı; 1918 senesinde Azerbaycan'a gelen İslam ordusuna gönüllü olarak yazıldı ve savaşlara katıldı.
1919 senesinde Bakü Üniversitesi Şarkiyat Bölümü'ne bir sömestr devam etti; 1920 senesinde Azerbaycan'ın Sovyet orduları tarafından işgali üzerine Türkiye'ye gitti ve Dârülfünun Edebiyat Fakültesi'ne kaydoldu. 1924 senesinde buradan mezun olan Caferoğlu, İlâhiyat Fakültesi Kütüphanesi'ne memur, sonrasında da Türkiyat Enstitüsü'ne asistan oldu. 1925 senesinin sonlarına doğru Almanya Dışişleri Bakanlığı'nın verdiği burs ile Almanya'ya gitti. Bir sömestr Berlin Üniversitesi'nde Bang Kaup, von Le Coq, Vasmer ve Westermann'ın öğrencisi, beş sömestr de Breslau Üniversitesi'nde Giese, Brockelmann, Diels, Koschmieder ve Schaeder'in öğrencisi olarak Türkoloji tahsili yaptı. 15 Mayıs 1929'da Breslau Üniversitesi'nde Giese'nin yönetiminde yaptığı 75 Azärbajğanische Lieder “Bajaty” in der Mundart von Gängä nebst einer sprachlichen Erklärung isimli teziyle doktor unvanı aldı.
1929 senesinde Türkiye'ye dönen Caferoğlu, aynı sene Dârülfünun Edebiyat Fakültesi Türk Dili Tarihi Kürsüsü'ne müderris muavini (doçent), 1938 senesinde profesör olarak tayin edildi. M. Fuad Köprülü'nün siyasete atılarak 1946 senesinde üniversiteden ayrılması üzerine kürsünün başkanı oldu. Bu kürsü sonrasında Eski Türk Dili ve Yeni Türk Dili ismiyle ikiye ayrılınca Caferoğlu Yeni Türk Dili Kürsüsü'nün başkanlığına getirildi ve bu vazifesi 1973 Temmuzundaki emekliliğine kadar sürdü. Yarım asra yaklaşan hocalık hayatının kırk dört senesini yoğun bir ilmi mesai içerisinde geçiren Caferoğlu 6 Ocak 1975 tarihinde İstanbul'da hayatını kaybetti, cenazesi Zincirlikuyu Mezarlığı'na defnedildi.
Caferoğlu hocalığı sırasında, her biri bir sonraki nesle öğretmenlik yapan dokuz nesil yetiştirmiştir. Bu elemanlar Türkiye üniversitelerindeki dil ve edebiyat kürsülerinin bir kısmının kuruluşunu gerçekleştirdikleri gibi halen de buralarda çalışmaktadırlar. Verimli bir alim olan ve Rusça, Almanca, Fransızca bilen Caferoğlu milletlerarası birçok ilmi kuruluşun üyeliğine seçilmiş, Nisan 1966'dan emekli oluncaya kadar İstanbul Üniversitesi Edebiyat Fakültesi'ne bağlı Türkiyat Enstitüsü'nün müdürlüğünü yapmıştır.
