La actual torre data del siglo XV, cuando se reconstruyó el edificio, después que en una revuelta fuera incendiada en el año 1442. Perteneció a la familia García González Orejón de la Lama, pero enseguida pasó a manos de Don Tello, señor de Liébana, que era hermano del rey Enrique II y hijo de Alfonso XI.

Durante los siglos XIII y XIV son constantes las pugnas entre las familias nobles de la zona, a las que puso fin el rey Juan II, cediendo el control del territorio al Marqués de Santillana, don Diego Hurtado de Mendoza y Figueroa. En 1475 los Reyes Católicos conceden a don Diego el título de duque del Infantado. En el balcón podemos ver sus escudos de armas.

Posteriormente pasó a manos de los Duques de Osuna, que la vendieron el año 1868. Actualmente es la sede del Ayuntamiento de Potes.

Tiene planta cuadrada y cuatro plantas de altura. Una barbacana coronada con almenas recorre sus muros. En los ángulos encontramos pequeñas torres circulares, también rematadas con almenas.

Las estancias interiores se distribuyen alrededor de un patio central, un hecho nada habitual en las fortificaciones cántabras. Se cree que es fruto de una reforma hecha por la familia Mendoza, que trajo los gustos italianizantes de la corte castellana de la época.

Se accede a la torre por una puerta de arco apuntado con grandes dovelas. Sobre ella encontramos un balcón, decorado con los escudos familiares y un reloj. En los dos pisos superiores se abren ventanas geminadas.