Selanjutnya, Rudi tercatat pernah menimba ilmu penyelidikan dan penyidikan di Federal Bureau of Investigation (FBI), Amerika Serikat pada 2002. Kemudian, Rudi kembali melanjutkan pendidikan di Sekolah Staf dan Pimpinan (Sespim) Polri dan di tahun 2016 menimba ilmu di Sekolah Staf dan Pimpinan Tinggi (Sespimti) Polri.
Sebagai anggota Korps Bhayangkara, suami dari Diana Herutami Gastini itu telah merasakan asam garam pengabdian. Dia pernah menjabat sebagai penyidik Madya Unit I Dit II/Ekonomi dan Khusus Bareskrim Polri. Kemudian, pada 2010, Rudi dipercaya mengemban jabatan sebagai Kapolres Indramayu.
Dua tahun kemudian, 2012, Rudi menjabat Wakil Direktur Reserse Kriminal Khusus (Wadirreskrimsus) Polda Sumut. Setelah satu tahun menjabat Wadirreskrimsus Polda Sumut (2013), Rudi dimutasi menduduki jabatan baru sebagai Pamen SSDM Polri (Penugasan sebagai Sekpri Presiden RI).
Karier Rudi terus menanjak, pada 2014, dia dipromosikan menjabat Kapolres Metro Bekasi Kota Polda Metro Jaya. Setahun kemudian, Rudi mengemban jabatan Kasubdit IV Dittipidum Bareskrim Polri (2015), Analis Kebijakan Madya Bidang Pidum Bareskrim Polri dalam rangka Dik Sespimti Polri (2015), Dirreskrimsus Polda Lampung dan Polda Sumsel (2017),
Pada 2017, dia menjabat Kapolrestabes Surabaya Polda Jatim, Wakapolda Lampung dan Sumsel (2019), Sahli Sospol Kapolri dan Deputi Penindakan KPK (2023). Akhirnya pada 13 April 2025, Irjen Pol Rudi dipromosikan menjabat Kapolda Jabar.