Bu caminin İstanbul'u kuşatan Araplar tarafından yaptırıldığına dair bir rivayet vardır. Ama bu tarihsel verilerle çatışmaktadır. İstanbul fethedildiğinde burada bir kilise bulunmaktaydı. Bu kilise, Fatih Sultan Mehmed tarafından Galata Camii adıyla 1475 yılında camiye dönüştürülmüştür. Eski kilise, doğrudan doğruya Fatih vakıflarından biri olarak cami yapılmıştır. 1492'de İspanya'dan göçe zorlanan Endülüs Araplarının bu cami etrafına yerleştirildikten sonra Arap Camii ismini almıştır.
Arap Camii, III.Mehmed döneminde (1595-1603) bir onarım gördükten sonra, 1731'deki Galata yangınının arkasından 1147/1734'te Galata'nın bu bölgesinde hayır eserleri yaptıran II.Mahmud'un (1730-1754) annesi Saliha Sultan tarafından büyük ölçüde restore edilmiş ve bir de şadırvan eklenmiştir. Cami, 1807'de bir yangın geçirmişse de hemen onarılmıştır. Bu onarımla birlikte Divan-ı Hümayûn Katiplerinden Hacı Emin Efendi tarafından binanın manzum bir tarihçesi yazılarak taşa işlenmiş ve mihrabın sağındaki duvara konulmuştur. Bu manzumede caminin esasının Mesleme bin Abdülmelik'e dayandığı da anlatılmıştır.
Arap Camii, dikdörtgen planlı ve gotik üslûpta bir yapıdır. Minareye yakın duvarda esasları gotik kemerli bir-iki pencerenin izleri görülebilir. Dominiken kiliselerinin kuleleri biçiminde olan kare kesitli minarenin de altında, gotik sivri kemerli bir dehliz, avluya geçilmesini sağlar. Kulenin üçüz pencereleri örülerek mazgal biçimine dönüştürülmüştür. Caminin içinde mihrap bölümünde gotik mimarisinin en başta gelen özelliği olan kaburgalı tonozlar görülmektedir. Mihrap ve hünkâr mahfili ile yan kapıların röleveleri, barok üslûptadır ve büyük ihtimalle 1734-35'te Saliha Sultan tarafından yapılan onarım dönemine aittir.
