Berawal dari kantor biro, kemudian dilanjutkan lagi sebagai kantor pos, kantor Jawatan Kereta Api Belanda, hingga kantor Kempetai Angkatan Laut Jepang.
Lepas dari zaman penjajahan Belanda maupun Jepang, gedung tersebut sempat dipakai sebagai Kantor Wali Kota Jakarta Pusat, lalu menjadi kantor Dinas Perumahan, perusahaan daerah air minum, dan kantor pos.
Selain itu, gedung tersebut pernah pula ditempati Majelis Permusyawaratan Rakyat Sementara (MPRS) pimpinan Jenderal AH Nasution. MPRS kemudian berpindah tempat ke Senayan.
Sejak saat itu, gedung di kawasan Menteng ini tak lagi dipergunakan untuk keperluan kantor pemerintah. AH Nasution kemudian menyarankan agar gedung itu dijadikan sebagai masjid.
Pertimbangannya, daerah sekitar Kebon Sirih, Menteng, Jakarta Pusat belum banyak terdapat masjid. Tapi niatan baik itu tak langsung terlaksana.