La ciudad se menciona por primera vez en la literatura talmúdica alrededor del siglo III e.C, como un pequeño pueblo de pescadores y la casa del rabino Avdimos y otros eruditos judíos. Bajo el dominio bizantino, Haifa siguió floreciendo, aunque nunca llegó a ser de gran importancia debido a su proximidad a Acre.
Los bizantinos gobernaron el asentamiento hasta el siglo VII, cuando la ciudad fue conquistada - primero por los persas, y luego por los árabes. En 1100, fue conquistada nuevamente por los cruzados, después de una feroz batalla con sus habitantes, judíos y musulmanes. Bajo el gobierno de los cruzados, la ciudad fue parte del Principado de Galilea hasta que los mamelucos musulmanes la ocuparon en 1265.
La Orden de las Carmelitas fue fundada en el siglo XII, y nombrada así en honor del Monte Carmelo.
En 1761 Dhaher al-Omar, el gobernador beduino de Acre y Galilea, reconstruyó la ciudad en una nueva ubicación, rodeándola con un muro. Este evento está marcado como el comienzo de la era moderna de la ciudad. Tras la muerte de al-Omar en 1775, la ciudad permaneció bajo dominio otomano hasta 1918, a excepción de dos breves períodos: en 1799, Napoleón Bonaparte conquistó Haifa, como parte de su campaña sin éxito, retirándose el mismo año; entre 1831 y 1840, el virrey egipcio Mehemet Ali gobernó después de que su hijo Ibrahim Pasha la arrebató del control de los otomanos.
La llegada de los Templarios alemanes en 1868, que se asentaron en lo que hoy es conocido como la Colonia Alemana de Haifa, fue un punto de inflexión en el desarrollo de Haifa. Fue en el siglo XIX que el área creció en importancia en la Fe Bahá'í donde los restos del Báb fueron trasladados en 1909 a Haifa.
A principios del siglo XX, Haifa había surgido como una ciudad portuaria industrial y centro de desarrollo poblacional.
