Servet Yılmaz, Trabzon'un Araklı ilçesinde dünyaya geldi. Babası Hüseyin Yılmaz'dır. Uzun yıllar Türk emniyet teşkilatında üst düzey görevler üstlenen Yılmaz, kariyerinin farklı dönemlerinde birçok önemli ilde güvenlik yöneticisi olarak çalıştı.
Kariyer Yolculuğu
Servet Yılmaz, meslek hayatının erken evrelerinde İstanbul Şile Emniyet Müdürlüğü ile İstanbul Emniyet Müdür Yardımcılığı görevlerinde bulundu. Polis Başmüfettişi unvanıyla görev yaparken, 20 Ocak 2015 tarihinde Kahramanmaraş Emniyet Müdürü olarak atandı.
Kahramanmaraş'taki görevi yaklaşık iki yıl sürdü. 26 Ekim 2016'da çıkarılan kararname ile Kahramanmaraş İl Emniyet Müdürlüğü'nden ayrılarak Emniyet Genel Müdür Yardımcılığı'na getirildi.
Ankara Emniyet Müdürlüğü
Ankara Emniyet Müdürü Mahmut Karaaslan'ın 18 Ağustos 2017'de emeklilik dilekçesi vererek yıllık izne ayrılmasının ardından, 19 Ağustos 2017 tarihinde yayımlanan kararname ile Yılmaz, Ankara Emniyet Müdürü olarak atandı. Bu görevi yaklaşık altı yıl sürdü.
Cumhurbaşkanı Recep Tayyip Erdoğan'ın imzasıyla 2 Ağustos 2023 tarihinde Resmî Gazete'de yayımlanan kararname ile Servet Yılmaz Ankara Emniyet Müdürlüğü görevinden alındı; yerine Konya Emniyet Müdürü Engin Dinç atanırken, Yılmaz Emniyet Genel Müdürlüğü emrine nakledildi.