Cuando este edificio fue construido en el siglo XIV los hospitales, aparte de centros de sanación, eran albergues para los peregrinos. Al llegar los enfermos, que pocas ayudas podían recibir por lo atrasado de la medicina de la época, se los separaba por sexos antes de ser enviados a Sevilla.
Este bello edificio, que sufrió posteriores modificaciones en los siglos XVII y XVIII, era por tanto un hospital para pobres que se encomendaban, precisamente, a la Virgen de los Ángeles.
Situado en la céntrica plaza de Santa María, junto a la iglesia de Santa María de la Granada, delata la importancia de Niebla durante esta época pues no todas las ciudades tenían el privilegio de contar con hospital.
Tiene planta cuadrada. Y se cubre con bóveda de crucería simple.
Ya en su interior, pintada sobre un muro, se encontraba una pintura en honor a Santa María de los Ángeles del siglo XVIII. La escena representa a la Virgen sedente, con el pequeño Jesús sobre su regazo, flanqueada por el Arcángel San Miguel y por San Lorenzo.
La Virgen luce en su mano derecha una rosa blanca (símbolo de pureza).
El niño bendice con la mano derecha, mientras con la otra sostiene la bola del mundo. Está sentado sobre la pierna izquierda de María. Dos ángeles la coronan como reina.
Hace varios años esta obra fue restaurada.
De su fachada podemos destacar la espadaña barroca sobre la portada del siglo XV, gótico- isabelina.
Con el paso de los años ha tenido múltiples funciones: Casa Consistorial, juzgado, cárcel, centro de salud, cuartel de la Guardia Civil, vivienda, oficina de Correos, almacén municipal y, actualmente, Casa de la Cultura.