Berdasarkan sejarahnya, bangunan asli Masjid Jami' merupakan sebatas empat tiang utama yang menjadi penyangga di dalam masjid tersebut.
Pada bagian depan terdapat tangga masjid yang berusia ratusan tahun untuk membersihkan ruangan atas tempat ibadah ini. Paling ikonik dari masjid tersebut, yaitu bedugnya yang diyakini sudah berusia ratusan tahun terbuat dari kayu yang sama untuk menyangga dinding-dinding masjid.
Pada 1933, Ketua Majelis Ulama Indonesia (MUI) pertama, Buya Hamka pernah datang ke Kota Ambon. Bahkan, ulama berpengaruh itu pernah berdakwah di Masjid Jami' Ambon.
Selain berceramah, Buya Hamka juga pernah memimpin sholat di Masjid Jami' Kota Ambon.
Kini, pada saat-saat tertentu, selain untuk ibadah dan kegiatan keagamaan, Masjid Jami' juga digunakan oleh masyarakat untuk sekadar berdiskusi hingga tempat istirahat bagi para musafir.