Dalam catatan literatur Islam di Ambon terdapat beberapa Masjid yang termashur sebagai pusat peradaban Islam di Ambon. Masjid An-Nur Batu Merah, Masjid Jami’ Ambon dan Masjid Negeri lama Laha.
Perdana Menteri Republik Indonesia saat itu Ir Djuanda Kartawidjaya adalah tokoh yang merintis berdirinya Masjid Raya Al atah Ambon. Pada 1962 ketika dia berkunjung ke Ambon, berdialog bersama pemerintah daerah yang dipimpin Gubernur Maluku Mohammad Padang serta tokoh agama Mohammad Amin Ely, Hamid bin Hamid, Abdullah Solissa dan Ahmad Syukur untuk mendirikan masjid raya yang lebih besar di Kota Ambon.
Setelah melalui usaha dan perjuangan gigih dari panitia, dengan Surat Keputusan tertanggal 10 Juli 1962 Nomor : 18/Peperda Maluku/7/1962, penguasa perang daerah menunjuk dan menetapkan luas areal tanah tempat pembangunan Masjid Raya Al-Fatah, kurang lebih 1 hektare, berdampingan dengan areal Masjid Jami’ Ambon.
Pada 1968 diperbaharui lagi susunan pengurusnya dan dapat diperkuat dengan tenaga-tenaga yang lebih representatif dan produktif, mengingat volume kerja mulai mendominasi lapangan kegiatan panitia.
Kemudian 1975 Masjid Raya Al Fatah Ambon selesai dibangun atas kerja keras panitia pembangunan masjid dalam menyelesaikan anggaran pembangunannya sebesar Rp20 miliar.