Nazif Yılmaz, 1971 yılında Kayseri'nin Develi ilçesinde hayata gözlerini açtı. Lise eğtimini 1988 yılında Develi İmam Hatip Lisesi´nde bitirdi. Lisans eğitimini 1993 yılında Marmara Üniversitesi İlahiyat Fakültesinde tamamlayan Yılmaz, lisans eğitimi sırasında hafızlık yaptı.
Marmara Üniversitesi İlahiyat Fakültesi Tasavvuf Anabilim Dalı'nda yüksek lisans eğitimi alan Yılmaz, doktora çalışmasını ise Din Eğitimi Anabilim Dalı´nda "İmam Hatip Liselerinde Kur´an-ı Kerim Öğretiminde Yeni Yöntemler ve Materyal Kullanımı" adlı tezi ile Bursa Uludağ Üniversitesi İlahiyat Fakültesinde tamamladı.
Nazif Yılmaz, 2 Ocak 2014 tarihinden itibaren Millî Eğitim Bakanlığı Din Öğretimi Genel Müdürü olarak görev almaktaydı.
Cumhurbaşkanlığı Kararnamesi gereğince yapılan yeni kararla birlikte Nazif Yılmaz, Ahmet Emre Bilgili'nin görevden alınmasıyla Milli Eğitim Bakan Yardımcısı olarak atandı.