El lloc de Querol és documentat per primera vegada l'any 1011. La vall de Querol estava protegida per diverses fortificacions. Una de les més conegudes era la que controlava l'accés a la vall des de Puigcerdà i que ha donat nom a la població de la Tor de Querol (Torre de Querol). L'altre gran fortificació es trobava al costat del poble de Porta, coneguda com a Castell de Querol. La seva situació estratègica el va convertir en el punt defensiu més important de la zona. La primera notícia documentada que ens ha arribat data de l'any 1243, quan Jaume I va abolir alguns mals usos del batlle del castell.  La fortalesa va ser destruïda en el segle XVIII, quedant només en peu dues grans torres i petits fragments de murs.

Els murs del recinte jussà encara mantenen prou alçada com per interpretar la seva planta, que té forma poligonal.  La porta d'accés es troba en el sector més meridional, formada per un arc de mig punt adovellat.

Del recinte sobirà es conserven dues grans torres.

La torre més occidental té planta quadrada. Té tres pisos, arribant als 10 metres d'alçada, amb obertures en tots els murs. Està coronada amb merlets.

L'altra torre va perdre la façana nord. La seva planta és rectangular i encara es pot veure un fragment de la volta apuntada amb que es cobria el darrer pis. Com l'altra torre, també està coronada amb merlets.