El lugar de Sanabria aparece documentado ya en época visigoda, en el siglo VII. A pesar de ser un lugar estratégico y de cierta importancia desde el siglo X, será a partir del reinado de Alfonso IX de León que la ciudad crecerá de una forma considerable, gracias al otorgamiento de una carta de población por parte del monarca el año 1220. Durante la época medieval y debido a su enclave estratégico se convirtió en una plaza fuerte en la defensa de la frontera con Portugal.

Una plaza tan estratégicamente importante fue disputada numerosas veces por la familia Pimentel y los Losada. Fue el tercer conde de Benavente, Alonso Pimentel Enríquez quien decidió construir, durante la segunda mitad del siglo XV, una imponente fortaleza para demostrar su poder sobre la villa. El castillo se encuentra situado en la parte más alta de la población, donde se alzaba el antiguo castillo medieval y cercano a la iglesia de Santa María del Azogue. Las obras se detuvieron varias veces por las disputas entre las dos familias. Finalmente, los litigios cesaron y el castillo finalizó a principios del siglo XVI.

Jugó un papel importante en las luchas contra Portugal del siglo XVII y el castillo terminó parcialmente en ruinas. Las guerras del siglo XVIII y especialmente la Guerra de la Independencia, hicieron aún más estragos en los deteriorados muros de la fortaleza. En el siglo XIX el castillo quedó abandonado. A finales de siglo, la reina María Cristina lo cedió temporalmente al ayuntamiento, siempre y cuando el Ministerio de la Guerra no lo considerara necesario para la defensa de la frontera con Portugal.

Durante el tiempo que duró esta cesión, el edificio era utilizado como prisión, almacén de paja o gallinero. A finales del siglo XX se decidió darle usos culturales. Se construyó en su interior una biblioteca, una sala de exposiciones y un salón de actos. Posteriormente, a principios del siglo XXI, se construye un centro de interpretación de fortificaciones.

El recinto fortificado tiene planta cuadrada, con una torre central o del homenaje, conocida popularmente como "El Macho".

Destacan las grandes torres cilíndricas situadas en los ángulos del cuadrado que forma el castillo.