Setelah sukses menyelesaikan pendidikan dasarnya, Gus Mus kemudian melanjutkan pendidikannya di Pondok Pesantren (Ponpes) Lirboyo, yang dipimpin oleh KH. Marzuqi Dahlan dan KH. Mahrus Aly, dalam kurun waktu dua tahun, yaitu dari 1956 hingga 1958.
Tertarik mengumpulkan ilmu tanpa henti, Gus Mus memutuskan untuk melanjutkan perjalanannya dalam mengejar ilmu di Pesantren Al Munawwar, Krapyak, Daerah Istimewa Yogyakarta (DIY).
Pada periode tersebut, pesantren tersebut diasuh oleh KH. Ali Ma'sum dan KH. Abdul Qodir, dan Gus Mus mengabdikan dirinya selama empat tahun, dari 1958 hingga 1962.
Usai mendalaminya di Krapyak, Gus Mus melanjutkan pendidikan non formalnya di pesantren yang dimiliki oleh ayahnya sendiri selama dua tahun, yakni dari 1962 hingga 1964.
Tak berhenti di situ, perjalanan keilmuannya terus berkembang ketika Gus Mus memutuskan untuk mengejar pendidikan tinggi secara akademis di Universitas Al-Azhar, Cairo, Mesir. Proses ini memakan waktu enam tahun, dari tahun 1964 hingga 1970.