Rudolf juga pernah menjadi Ketum Dewan Pembangunan Gereja Injil Indonesia 1992-1999, Ketua Dewan Pembina KKI Sumut 2001, Ketua Dewan Pembina Himpunan Abang Beca Sumut (HABSU) 2002, Ketum Perhimpunan Lingkungan Hidup Indonesia 2002. Termasuk pernah menjabat sebagai Dewan Pembina Serikat Pengacara Indonesia 2003.
Sejak 1982, Rudolf sudah menjadi kader Partai Demokrasi Indonesia (kini PDIP). Pada tahun 2020, Rudolf dipercaya menjadi Ketua PDIP Sumut hingga 2010.
Sebelum menjadi Ketua PDIP Sumut, Rudolf merupakan anggota DPR RI pada 1982-1987. Ia juga menjadi anggota MPR RI utusan Sumut 1999.
Pada pemilihan Gubernur Sumut 2003, Rudolf maju sebagai calon wakil berpasangan dengan gubernur petahana, Tengku Rizal Nurdin. Mereka berhasil mengalahkan dua pasangan yang lain, Chairuman Harahap-Serta Ginting dan Amrun Daulay-Baskami Ginting.
Rudolf kemudian dilantik sebagai Gubernur Sumut defenitif di tahun 2006 sampai 2008. Dia dilantik oleh Mendagri di Gedung Sasana Bhakti Praja III, Depdagri, Jakarta.
Pada Pilkada Sumut 2008, Rudolf tidak mencalonkan diri lagi sebagai gubernur. Saat itu ada lima calon yang akhirnya dimenangkan oleh pasangan Syamsul Arifin dan Gatot Pujo Nugroho.
Setelah jabatannya di PDIP berakhir di 2010, Rudolf kemudian menyeberang ke Partai Gerindra. Di Partai besutan Prabowo Subianto itu, Rudolf sempat mendapatkan jabatan sebagai Ketua Dewan Pembina Gerindra Sumut.