Se cuenta que el ganado que pasaba junto a una cueva donde hoy se ubica el santuario, sanaba sin motivo aparente. Un día decidieron explorar la cueva en donde se encontró la figura de la Virgen con el Niño en los brazos. Es posible que la imagen fuera escondida aquí durante las incursiones de los musulmanes. En el lugar se levantó una pequeña ermita de una sola planta que cobijaría la imagen. Siglos después, en el XVII, el obispo de Astorga, Alonso Mejía de Tovar se encontraba de visita pastoral y cayó gravemente enfermo. Se cuenta que ya desahuciado tuvo una visión donde veía a la Virgen de las Ermitas y recuperó las alud de inmediato. Por este motivo, el obispo mandó construir el templo que ha llegado a nuestros días. Es considerado uno de los primeros sanuarios marianos de Galicia junto al de Muxía. Desde entonces la Virgen cuenta con gran devoción en Ourense debido a la fama de “milagreira” que mantiene.