La devoción a la Virgen del Carmen fue traída por los misioneros españoles en la época de la colonia.
En las faldas del cerro que llamaban Daninayaaloani (hoy cerro del Fortín) encontraron un adoratorio y una pirámide mexica, donde cada 16 de Julio se realizaban ritos propios en honor a la deidad Centeotl; dicho lugar fue derrumbado y con esas mismas piedras se construyó una Ermita que, años más tarde, la orden de Carmelitas Descalzos transformó en un Templo con su convento, consagrado a la Virgen del Carmen y cuya festividad coincidía en la fecha con las prácticas de sus antiguos habitantes.
El Templo desde sus inicios fue considerado de mucha alcurnia entre la sociedad de la Nueva España, por tal motivo era frecuentado por los españoles ricos que vivían en los alrededores. Debido al sistema de castas de la época, era inadmisible que indígenas y mestizos rezaran en el mismo lugar que los españoles peninsulares, para ellos había más templos en el sur de la ciudad, la zona más popular.
Los españoles trataron de imponer la advocación de la Virgen del Carmen como patrona de la ciudad. Su objetivo se logró a medias; ya que, si bien es cierto se tiene gran devoción y fe por esta Virgen, el pueblo se identificó más con una imagen que, casualmente, apareció a los pies del mismo cerro: la Virgen de la Soledad.
El convento y Templo de la Virgen del Carmen ha sufrido modificaciones, daños y adecuaciones a través de los siglos. En diversos momentos ha sido ocupado como cuartel militar, prisión y bodega. Actualmente el Templo se encuentra abierto al culto y celebra su festividad el domingo siguiente al 16 de julio; su convento, dividido, es sede del Arzobispado de Oaxaca, una parte es la oficina del Registro Civil y otra una escuela pública.
