Mustafa Yılmaz, 1966 yılında Gaziantep Nizip'te doğdu. Nizip'teki ortaöğreniminin ardından 1984-1988 yılları arasında İstanbul Üniversitesi Hukuk Fakültesi'nde eğitimini tamamladı. 1989 yılında İstanbul'da serbest avukatlığa başladı. 1993-2004 yılları arasında enerji sektöründe avukat olarak çalıştı. Bu dönemde bazı sivil toplum kuruluşlarının çalışmalarına katkıda bulundu. Mustafa Yılmaz, 21 Şubat 2004 tarihli Resmi Gazetede yayımlanan Bakanlar Kurulu Kararı ile EPDK Kurul Üyeliğine atandı. 28 Ocak 2010 tarihinde EPDK İkinci Başkanı olarak görevlendirildi..
Mustafa Yılmaz'ın başkanlığı döneminde, EPDK'nın uluslararası platformda etkinliğinin artırılmasına yönelik olarak başlatılan çalışmalar daha da artırılmıştır. Bu dönemde, EPDK'nin ev sahipliği ve başkanlığında 6.Dünya Enerji Düzenleme Forumu İstanbul'da toplanmış ve EPDK, üyesi bulunduğu Enerji Düzenleyicileri Bölgesel Birliği ERRA ve Akdeniz Enerji Düzenleyicileri Birliği MEDREG'in aktif bir üyesi haline gelmiştir Yılmaz ,aynı zamanda ERRA Yönetim Kurulu Üyeliği görevini de yürütmektedir.