Cevdet Yılmaz 1 Nisan 1967’de Bingöl’de dünyaya geldi. Babasının ismi Kemal, annesinin Fatmadır. Lise tahsilini Bingöl’de 1983 yılında tamamladı. ODTÜ İktisadi ve İdari Bilimler Fakültesi Kamu İdaresi Kısmı’na girerek bu kısımdan 1988 yılında birincilikle mezun oldu. 1989 yılında Devlet Planlama Teşkilatı’nda çalışmaya başladı.
1992-1994 yılları ortasında ABD’ye giderek Denver Üniversitesi Milletlerarası Münasebetler Kısmı’nda yüksek lisans eğitimini tamamladı. 1995-2003 yıllarında DPT’deki vazifesine Planlama Uzmanı olarak devam ederken Bilkent Üniversitesi Siyaset Bilimi ve Kamu İdaresi kısmında doktora eğitimi aldı. 2003 yılında doktora tezi kabul edildi. Birebir yıl, teşkilatın AB Bağlantılar Genel Müdürlüğü vazifesine getirildi. Ulusal Ajans, ATAUM ve Sümerhalı’da İdare Şurası üyeliklerinde bulundu. 23. Devir’de Türkiye-AB Karma Parlamento Kurulu Üyesi ve Parlamentolararası Birlik (PAB) Türk Kümesi Lideri oldu.
Siyasal ömrüne AK Parti’de başlayan Yılmaz, birinci kere 2007 Türkiye genel seçimleri’nde AK Parti Bingöl milletvekili olarak TBMM’ye girdi. 1 Mayıs 2009 tarihinde gerçekleşen 60. Türkiye Hükûmeti kabine değişikliği sonucu GAP-DAP Projesi ve Kalkınma’dan Sorumlu Devlet Bakanlığı vazifesine getirildi. 2011 genel seçimlerinde tekrar AK Parti Bingöl milletvekili olarak meclise girdi. Recep Tayyip Erdoğan tarafından kurulan 61. Türkiye Hükûmeti’nde Kalkınma Bakanı olarak yer aldı. Erdoğan 2014 yılında Cumhurbaşkanı seçilince hükûmet kurma vazifesi Ahmet Davutoğlu’na verildi. Davutoğlu tarafından 29 Ağustos 2014 tarihinde kurulan 62. Türkiye Hükûmeti’nde Kalkınma Bakanlığı vazifesini korudu.
Haziran 2015 Türkiye genel seçimleri’nde Diyarbakır milletvekili olarak meclise girdi. Bu seçimlerde hiçbir parti tek başına iktidar olmak için gereken sandalye sayısına ulaşamayınca ve koalisyon görüşmelerinden sonuç alınamayınca erken seçime gidilme kararı alındı. Davutoğlu başkanlığında kurulan Seçim hükümeti’nde 28 Ağustos tarihinde Başbakan yardımcısı olarak görevlendirildi. Bu vazifesini 24 Kasım 2015 tarihinde kadar sürdüren Yılmaz, Kasım 2015 Türkiye genel seçimleri’nde Bingöl milletvekili olarak meclise girdi.
