Bukan hanya soal kemegahannya, masjid itu juga memiliki sejarah panjang yang menarik. Pendirian Masjid Raya Al Fatah di Ambon terorganisir sejak 1936 ketika dibentuk Yayasan Masjid Jami Ambon untuk menangani pembangunan Masjid Jami’ Ambon yang baru, menggantikan masjid lama karena hancur dilanda banjir besar pada 1935.
Kala itu Hamid bin Hamid, termasuk salah seorang pelopornya dan masuk menjadi pengurus yayasan tersebut.
Sejak saat itu sampai pada waktu dibentuk panitia pembangunan Masjid Raya di Kota Ambon pada 1960 untuk menggantikan Masjid Jami’ yang sudah tua, rusak dan terasa sangat sempit saat itu. Hamid bin Hamid dipilih menjadi Ketuanya. Dia terus menerus melibatkan amalnya dalam kerja-kerja masjid dan Perguruan Islam.
Masjid Raya Al Fatah Ambon oleh mendiang Presiden Soekarno ketika meletakkan batu pertama pada 1 Mei 1963, bersamaan harinya dengan penyerahan daerah Irian Barat ke dalam pangkuan Republik Indonesia oleh Belanda.
Pasca-kemerdekaan 1945 umat Islam semakin berkembang di Ambon yang bekerja menjadi aparatur sipil negara (ASN) daerah Maluku dan para pedagang dari Jawa, Sumatera, Makasar, Buton yang bekerja di Kota Ambon.