Cevdet Yılmaz, 1 Nisan 1967'de Bingöl'de doğdu. Orta Doğu Teknik Üniversitesi (ODTÜ) Kamu Yönetimi Bölümünü birincilikle bitirdi. Yüksek lisansını ABD Denver Üniversitesi Uluslararası İlişkiler Bölümünde, doktorasını Bilkent Üniversitesi Siyaset Bilimi ve Kamu Yönetimi Bölümünde tamamladı.
Başbakanlık Devlet Planlama Teşkilatı Müsteşarlığında Planlama Uzman Yardımcısı olarak göreve başlayan Yılmaz, planlama uzmanlığına atandı. Devlet Planlama Teşkilatı AB ile İlişkiler Genel Müdürlüğü görevini yürüten Yılmaz, AB Eğitim ve Gençlik Programları Merkezi İzleme ve Yönlendirme Komitesi Üyeliği, Ulusal Ajans, Avrupa Toplulukları Araştırma ve Uygulama Merkezi ile Sümer Halı Yönetim Kurulu üyeliklerinde bulundu.
Yılmaz, Temmuz 2007'deki genel seçimlerde Bingöl'den milletvekili seçilerek Meclise girdi, 23'üncü dönemde Türkiye-AB Karma Parlamento Komisyonu Üyesi ve Parlamentolararası Birlik Türk Grubu Başkanı oldu.
60'ıncı Hükümette Devlet Bakanlığı yapan Cevdet Yılmaz, 24'üncü dönemde Bingöl'den tekrar milletvekili seçilerek, 61'inci hükümette Kalkınma Bakanı olarak görev aldı. Yılmaz, 62'nci hükümette de Kalkınma Bakanı oldu. Yılmaz, Geçici Bakanlar Kurulu'nda Başbakan Yardımcılığı görevini üstlendi.
Yılmaz, Başbakan Davutoğlu'nun açıkladığı 64'üncü hükümette yeniden Kalkınma Bakanlığı görevine getirildi.
Cevdet Yılmaz'ın bakanlığı döneminde Kalkınma Bakanlığı koordinasyonunda "Güçlü ve Dengeli Büyüme için Yapısal Dönüşüm" başlığıyla Onuncu Kalkınma Planı kapsamında öncelikli dönüşüm programlarına ilişkin eylem planları açıklandı.
İyi düzeyde İngilizce bilen Yılmaz, evli ve 2 çocuk babası.
