Cuenta la tradición que la virgen se le apareció a un pastor de Lepe cuando guardaba su ganado. El nombre de Virgen de la Blanca viene porque la aparición tenía forma de paloma de color blanco.
Cierto o no, lo cierto es que en el siglo XIV los Marqueses de Ayamonte mandan construir, en estilo mudéjar, la Ermita de Nuestra Señora de la Blanca.
Situada en medio de pinares y cerca del mar, el encalado de su exterior así como el artesanado interior de sutil delicadeza y los arcos ojivales le dan enorme belleza a todo el conjunto. Consta de tres naves separadas por pilares poligonales que acogen arcos de medio punto, enmarcados en alfiz.
La fachada, con dos arcos gemelos de medio punto, dos ventanitas y una sencilla espadaña le da un aspecto sencillo pero muy elegante, propio de las ermitas de la zona.
Es anterior al pueblo de Villablanca, llamado en un principio Puebla de Santa María de la Blanca, se fundó dos siglos después de la construcción de esta ermita, en cuyo entorno se fue ampliando desde el siglo XVI.