Abah Guru Sekumpul muda menempuh pendidikan di Pesantren Darussalam selama 12 tahun (1949-1961 M). Pada tahun 1949 (usia 7 tahun) ia masuk tingkat Tahdhiry/ Ibtida’iy dan pada tahun 1955 (usia 13 tahun) ia melanjutkan ke tingkat Tsanawiyah di Pesantren yang sama. Ia menyelesaikan pendidikannya pada tahun 1961 (usia 19 tahun), lulus dengan nilai jayyid mumtaz.
Selain belajar secara formal di pondok pesantren Darussalam, beliau juga menuntut ilmu di sejumlah halaqah di kediaman para ulama di sekitar Martapura sebagaimana lazim dilakukan oleh para santri di pesantren Darussalam.
Tidak hanya itu, ia juga belajar dengan sejumlah guru di luar daerah Martapura, di antaranya ia pernah belajar dengan KH M Aini di Kampung Pandai Kandangan dan pernah belajar dengan KH Muhammad di Gadung Rantau.
Sekitar tahun 1965 (usia 23 tahun), Abah Guru Sekumpul berangkat bersama pamannya, KH. Semman Mulya ke Bangil. Di Bangil, dia dibimbing oleh Syekh Muhammad Syarwani Abdan selama beberapa waktu. Setelah memperoleh bimbingan spiritual, Zaini Muda disuruh sang guru untuk berangkat ke Mekkah menemui Sayyid Muhammad Amin Qutbi untuk mendapat bimbingan sufistik darinya.
Sebelum berangkat ke Makkah, ia terlebih dahulu menemui Kyai Falak (Mama Falak) Bogor dan di sini ia memperoleh ijazah dan sanad suluk dan thariqah. Sambil menunaikan ibadah haji, Abah Guru Sekumpul mendapat bimbingan langsung dari Sayyid Muhammad Amin Kutbi dan dihadiahi sejumlah kitab tasawuf.