El castillo-fuerte de Paymogo es una construcción defensiva con cuatro baluartes a las esquinas, orientados a los respectivos puntos cardinales y recientemente restaurados, así como los lienzos o paños exteriores.
Situado en lo alto del cabezo que domina el pueblo, dentro se encuentra la Iglesia Parroquial de Santa María de la Magdalena, construida un siglo antes.
El fuerte contaba con dependencias para la guardia y el alcaide, cuadra, almacenes, polvorín, cocina, aljibe y un antemuro en forma de estrella de ocho puntas. Entre este antemuro y los baluartes había un profundo foso.
El motivo que llevó a construir este fuerte, entre los años 1644 y 1666, fue la necesidad de proteger la frontera tras el golpe de estado de 1640 en Portugal, que instauró una nueva dinastía que declaró la independencia y la guerra a Felipe IV, hasta entonces rey del país vecino
Las defensas tenían forma de punta de diamante y su patio de armas es hoy la única nave de bóveda de cañón y cinco arcos fajones de la actual iglesia.
Las ventanas, a veces cubiertas y otras ciegas, se reparten por su fachada donde también podemos ver la entrada al templo.
De los baluartes, a los que se accedía mediante rampas y que llegaron a albergar hasta seis piezas de artillería, se conserva la planta pentagonal completa solamente en el del Este, quedando de sus paños escasos restos.