Setelah itu, Kiai Hasyim pulang ke Tanah Air. Namun, tidak lama sekembalinya dari Mekkah tepatnya tahun 1893, Kiai Hasyim kembali ke Mekkah untuk menuntu ilmu. Kali ini, Kiai Hasyim ditemani adiknya Anis. Namun, sanga dik dipanggil Allah SWt dan dimakamkan di Mekkah.
Peristiwa itu lantas membuat Kiai Hasyim semakin dekat dengan Allah. Selama di Mekkah, Kiai Hasyim menimba ilmu ke sejumlah ulama terkenal. Di antaranya Syaikh Syuaib bin Abdurrahman, Syaikh mahfudz al Turmusi, Syaikh Khatib Al Minangkabawi, Syaikh Amin Al Aththar, Syaikh Ibrahim Arab, Syaikh Said Al Yamani, Syaikh Rahmatullah dan Syaikh Bafadhal.
Kiai Hasyim belajar ilmu hadis ke Syaikh Mahfudz al Tumursi, ulama asal Termas. Ia ulama yang mengajarkan kitab Sahih Bukhari di mekkah. Dari syaikh Akhmad Khatib, Kiai Hasyim belajar ilmu fikih mazhab Syaifii. Konon KH Ahmad Dahlan pendiri Muhammadiyah juga salah satu murid Syaikh Ahmad Khatib.
Kesungguhan Kiai Hasyim menuntut ilmu membuahkan hasil manis. Kiai Hasyim ditunjuk sebagais alah satu guru di masjidil Haram bersama para ulama Indonesia lain di antaranya Syeikh Nawawi al bantani dan Syaikh Khatib Al Minangkabawi.
Ulama asal Indonesia pada masa lalu bukan hanya murid ulama Timur Tengah dan dunia Islam lainnya tetapi mereka juga sebagai guru karena kedalaman ilmu agamanya.