Gus Sholah mulai merintis kariernya di bidang kontraktor. Pada tahun 1970, mendirikan perusahaan kontraktor bersama dua orang kawan dan kakak iparnya, Hamid Baidawi.
Selain itu, Gus Sholah juga pernah bergabung dengan Biro Konsultan PT MIRAZH, menjadi Direktur Utama Perusahaan Konsultan Teknik (1978-1997), Ketua DPD Ikatan Konsultan Indonesia/Inkindo DKI (1989-1990), Sekretaris Jenderal DPP Inkindo (1991-1994), Assosiate Director Perusahaan Konsultan Properti Internasional (1995-1996), dan masih banyak yang lain. Singkatnya, sejak tahun 1970 hingga 1997, sebagian besar aktivitasnya adalah di bidang arsitektur dan konstruksi.
Sejak bergulirnya Era Reformasi, keterlibatan Gus Sholah dalam bidang politik semakin intens. Pada tahun 1998, dia ditawari menjadi Sekjen PPP dengan calon Ketua Umum, Amien Rais. Akan tetapi rencana itu gagal karena Amien Rais menolak dan memilih mendirikan partai sendiri (PAN).
Setelah itu ia bergabung dengan Partai Kebangkitan Umat (PKU), dan menjadi Ketua Dewan Pimpinan Pusat serta Ketua Lajnah Pemenangan Pemilu PKU. PKU adalah partai yang didirikan oleh Kiai Yusuf Hasyim.
Pada September 1999 Gus Sholah mengundurkan diri dari PKU. Lalu pada Muktamar NU ke-30 di Pondok Pesantren Lirboyo, Kediri, Gus Solah ikut maju sebagai salah seorang kandidat Ketua Umum PBNU.
Gus Sholah kemudian terpilih sebagai salah satu ketua PBNU periode 1999-2004. Pada Muktamar NU tahun 2004 di Solo, Gus Sholah yang ditawari kembali menjadi ketua PBNU menolak tawaran tersebut.