La Ermita de Nuestra Señora de la Vega está situada a unos 4 km. de la población y fue construida en el siglo XIII por los templarios para proteger a los peregrinos que viajaban hacia los Santos Lugares.

No podemos ignorar la ubicación de la zona de Torre de Juan Abad, en zona fronteriza con el Reino Musulman de Andalucía y aunque en la cúpula de su Altar Mayor haya una inscripción en latín que expresa "su construcción por los templarios", la aparición en un lateral del templo de una piedra de alabastro con caracteres árabes cúficos podría ponernos en la pista (hasta el momento desconozco si hay mas indicios arqueológicos) que los templarios, al igual que hicieron en otros lugares similares, edificaron sobre las ruinas de una edificación musulmuna, ya que este tipo de piedras en alabastro con este tipo de inscripciones cúficas  se usaban mucho en sus construcciones.

No está claro las causas de la destrucción del templo en 1310, y si guarda relación con la persecución injusta de esta orden que coincide con esta época. Pero parece ser que el sentimiento y devoción del pueblo lo levantó de nuevo en 1644.