Pada tahun 1968-1972, Rudolf aktif di perusahaan yang didirikan ayahnya dengan menjabat sebagai Board of Directory TD Perdede Holding Company, kemudian Direktur Hotel Danau Toba International 1972-1974. Direktur Pertekstilan TD Pardede 1974-1976, Dewan Komisaris TD Pardede Holding Company 1992-1999. Selain itu, ia juga pernah menjabat sebagai Ketua Badan Pengawas Yayasan TD Pardede Foundation 1992-1999, Presiden Komisaris PT Berkat Kasih Karunia 1992-1999 dan Presiden Komisaris Balai Hermina Jakarta 1990-1999.
Dalam berorganisasi, Rudolf juga menjadi Ketua HIPMI Sumut pada tahun 1969. Ia pernah menjadi Ketum Kesebelasan Pardedetex 1978-1980 yang diisi para pemain Timnas Indonesia. Selain itu, ia juga pernah menjabat Dewan Pembina Kesatuan Anak Medan Pecinta Ayam Kinantan Fan Club pada 2004, yang merupakan kelompok suporter PSMS.
Rudolf juga pernah menjadi Ketum Dewan Pembangunan Gereja Injil Indonesia 1992-1999, Ketua Dewan Pembina KKI Sumut 2001, Ketua Dewan Pembina Himpunan Abang Beca Sumut (HABSU) 2002, Ketum Perhimpunan Lingkungan Hidup Indonesia 2002. Termasuk pernah menjabat sebagai Dewan Pembina Serikat Pengacara Indonesia 2003.
Sejak 1982, Rudolf sudah menjadi kader Partai Demokrasi Indonesia (kini PDIP). Pada tahun 2020, Rudolf dipercaya menjadi Ketua PDIP Sumut hingga 2010.
Sebelum menjadi Ketua PDIP Sumut, Rudolf merupakan anggota DPR RI pada 1982-1987. Ia juga menjadi anggota MPR RI utusan Sumut 1999.