Meski hidup prihatin dan sederhana, Zaini muda mendapat pendidikan yang baik dari ayahnya dan neneknya yang bernama Salabiah.
Di lingkungan keluarga ia mendapat didikan yang ketat dan disiplin serta mendapat pengawasan dari pamannya, Syekh Semman Mulya. Pada usia 5 tahun ia belajar al-Qur"an dengan Guru Hasan Pesayangan dan pada usia 6 tahun menempuh pendidikan di Madrasah Kampung Keraton. Pada usia 7 tahun ia masuk ke Madrasah Diniyyah Pondok Pesantren Darussalam Martapura.
Abah Guru Sekumpul muda menempuh pendidikan di Pesantren Darussalam selama 12 tahun (1949-1961 M). Pada tahun 1949 (usia 7 tahun) ia masuk tingkat Tahdhiry/ Ibtida’iy dan pada tahun 1955 (usia 13 tahun) ia melanjutkan ke tingkat Tsanawiyah di Pesantren yang sama. Ia menyelesaikan pendidikannya pada tahun 1961 (usia 19 tahun), lulus dengan nilai jayyid mumtaz.
Selain belajar secara formal di pondok pesantren Darussalam, beliau juga menuntut ilmu di sejumlah halaqah di kediaman para ulama di sekitar Martapura sebagaimana lazim dilakukan oleh para santri di pesantren Darussalam.
Tidak hanya itu, ia juga belajar dengan sejumlah guru di luar daerah Martapura, di antaranya ia pernah belajar dengan KH M Aini di Kampung Pandai Kandangan dan pernah belajar dengan KH Muhammad di Gadung Rantau.