Setelah kembali ke Indonesia, Gus Mus aktif di berbagai kegiatan organisasi Islam dan pernah menjadi Rais 'Aam Pengurus Besar Nahdlatul Ulama.
Dalam dunia politik, Gus Mus pernah menjabat sebagai anggota DPRD Jawa Tengah periode 1982-1992 dan menjadi anggota MPR RI periode 1992-1997.
Beliau juga memiliki keterkaitan erat dengan Presiden RI ke-4, Abdurrahman Wahid atau yang dikenal dengan nama Gus Dur.
Sebagai seorang ulama, mantan pejabat pemerintahan, dan budayawan, Gus Mus menjadi panutan bagi pemuka agama dan pejabat negara, dianggap sebagai sosok suri teladan bahkan bagi sosok Ganjar Pranowo.