El lugar de Querol está documentado por primera vez el año 1011. El valle de Querol estaba protegido por varias fortificaciones. Una de las más conocidas era la que controlaba el acceso al valle desde Puigcerdà y que ha dado nombre a la población de la Tor de Querol (Torre de Querol). La otra gran fortificación se encontraba junto al pueblo de Porta, conocida como Castell de Querol. Su situación estratégica lo convirtió en el punto defensivo más importante de la zona. La primera noticia documentada que nos ha llegado data del año 1243, cuando Jaume I abolió algunos malos usos del batlle del castillo.  La fortaleza fue destruida en el siglo XVIII, quedando sólo en pie dos grandes torres y pequeños fragmentos de muros.

Los muros del recinto yusero todavía mantienen la suficiente altura para interpretar su planta, que tiene forma poligonal.  Su puerta de acceso se encuentra en el sector más meridional. Está formada por un arco de medio punto dovelado.

Del recinto soberano se conservan dos grandes torres.

La torre más occidental tiene planta cuadrada. Tiene tres pisos, alcanzando una altura de 10 metros, con aperturas en todos los muros. Está coronada con almenas.

La otra torre perdió la fachada norte. Su planta es rectangular y todavía se puede ver un fragmento de la bóveda apuntada con que se cubría el último piso. Como la otra torre, también está coronada con almenas.