El rey Pere el Ceremoniós, en 1357 ordenó derruir la mitad del pueblo, fortificar la otra mitad, y construir un castillo en la cima que había junto al pueblo. Esta decisión fue tomada para proteger el paso hacia Calatayud durante la " Guerra de los Pedros", en la que se enfrentaba al rey de Castilla,  Pedro el Cruel. Un año después fue conquistado por los castellanos. Pedro el Cruel dejó al caballero don Hernán Gutiérrez de Sandoval como gobernador del castillo. Los habitantes del pueblo, cansados de la tiranía de este gobernador, se sublevaron y conquistaron el castillo, poniéndolo nuevamente bajo la protección del rey Pere el Ceremoniós.  Durante los cuatro siguientes años, el castillo fue conquistado por los castellanos en tres ocasiones, pero nuevamente las tropas catalano-aragonesas se hicieron con su control. La última vez que el castillo participó en una acción bélica fue en 1452.  

Popularmente es conocido como el Castillo de los Moros, si bien, como acabamos de ver su construcción corresponde al rey catalano-aragonés Pere el Ceremoniós, en sus luchas  con el reino de Castilla para defender la frontera.

La importancia del castillo, no era tanto por la fortaleza de sus muros, si no por estar ubicado en un enclave estratégico.  Tenía planta rectangular, llegando a los cuarenta metros de longitud. En su interior se levantaba una torre, también rectangular, que alcanzaba los siete metros de altura. Hoy en día, sus muros a duras penas llegan al metro y medio

Del resto de sus muros destacan dos paños de pared que mantienen todo su esplendor con la coronación de almenas.

Es interesante la rampa de acceso al castillo. Está protegida por uno de los muros del recinto y acaba en un arco de medio punto, que todavía está en pie, si bien como el resto del castillo está muy deteriorado.

Todo el recinto está en unas pésimas condiciones de conservación, como el resto de edificios históricos del pueblo. Algunos de los pocos muros que todavía se mantienen en pie, se están hundiendo, como se puede ver en la siguiente imagen. A pesar de su pasado glorioso, Torrijo no ha sabido conservar su patrimonio, pues hasta hace pocos años, como en otros muchos lugares de nuestra geografía, lo que era antiguo no tenía ningún valor. En el castillo se puede ver claramente esta poca consideración por los monumentos, ya que en el interior de su recinto se construyó un depósito de agua que desentona profundamente con el entorno. Al ser el pueblo de mis antepasados, me duele especialmente ver este estado de dejadez. Espero que pronto se le ponga remedio a esta situación.