Pada pemilihan Gubernur Sumut 2003, Rudolf maju sebagai calon wakil berpasangan dengan gubernur petahana, Tengku Rizal Nurdin. Mereka berhasil mengalahkan dua pasangan yang lain, Chairuman Harahap-Serta Ginting dan Amrun Daulay-Baskami Ginting.
Rudolf kemudian dilantik sebagai Gubernur Sumut defenitif di tahun 2006 sampai 2008. Dia dilantik oleh Mendagri di Gedung Sasana Bhakti Praja III, Depdagri, Jakarta.
Pada Pilkada Sumut 2008, Rudolf tidak mencalonkan diri lagi sebagai gubernur. Saat itu ada lima calon yang akhirnya dimenangkan oleh pasangan Syamsul Arifin dan Gatot Pujo Nugroho.
Setelah jabatannya di PDIP berakhir di 2010, Rudolf kemudian menyeberang ke Partai Gerindra. Di Partai besutan Prabowo Subianto itu, Rudolf sempat mendapatkan jabatan sebagai Ketua Dewan Pembina Gerindra Sumut.
Itulah profil Rudolf Pardede, Gubernur Sumut ke-16 wafat di usia 81 tahun.