- Masjid Jami Ambon didirikan pada tahun 1860 Meter di atas tanah wakaf yang diberikan oleh seseorang janda bernama Kharie. Pada awal mulanya, masjid ini cuma berdinding serta beratapkan daun rumbia( tanaman aren, enau) dengan tiang kayu. Masjid yang sedemikian kecil itu ternyata tidak dapat lagi menampung jamaah dikarna penganut agama Islam terus menjadi tinggi di pulau ini sehingga pada tahun 1898 dibangunlah satu buah masjid baru di atas letak masjid lama, yang wujudnya lebih besar, dan juga beratap seng.
- pada tahun 1933, kota Ambon dilanda banjir akibat meluapnya Sungai Wai Batu Gajah. Banjir yang begitu dahsyat menghanyutkan pemukiman warga di kiri kanan sungai. Masjid yang berbentuk semi permanen itu juga ikut musnah akibat diterjang banjir bandang.
- Pembangunan kembali masjid baru dengan struktur yang lebih permanen, dilakukan pada tahun 1936, dipelopori oleh Imam Ambon. Renovasi masjid yang dananya murni swadaya umat Islam Ambon ini baru bisa diselesaikan pada tahun 1940, sebelum masuknya pasukan Jepang ke Indonesia.
Sejak tahun 1940, Masjid Jami Ambon dikelola oleh yayasan baru yang dibangun pada tahun yang sama. Selain salat Jumat, salat Idul Fitri, dan salat 5 waktu, Masjid Jami Ambon juga diramaikan dengan berbagai kegiatan keagamaan. Karena daya tampung masjid tidak mencukupi, jumlah jamaah terus bertambah, sehingga pihak pengelola masjid berupaya memperluas bangunan masjid. Namun, karena masjid ini memiliki sejarah khusus, pada tahun 1960, Otoritas Perang Wilayah Maluku menghibahkan tanah yang terletak di sebelah masjid