Pedro IV de Aragón hizo fortificar la villa y construir un castillo en la parte noroeste de la población. Pedro I de Castilla conquistó Bijuesca en 1358. Posteriormente fue reconquistada por Aragón, pero en 1362 se volvió a pasar a manos castellanas. Para evitar volver a perder el castillo, Pedro IV ordenó destruirlo una vez reconquistado. Por suerte sólo se ejecutó parcialmente esta orden.

Está formado por tres recintos de murallas. El superior tiene la planta rectangular y es el que mejor se ha conservado. Todavía podemos ver parte de sus muros rematados por almenas y saeteras.

En este sector se alza una de las torres con las que estuvo defendido el recinto.

Tiene planta rectangular y conserva las ménsulas dónde se apoyaba un matracán, encargado de defender la puerta de acceso.

El segundo recinto tiene una planta ovalada. Sus muros casi no se han conservado o bien han perdido gran parte de su altura.

El acceso está situado junto a la iglesia del castillo, pero separado por un foso.

Del recinto inferior sólo se conserva parte del muro este. Dentro de este recinto encontramos la iglesia dedicada a la Virgen del Castillo.

Tiene una sola nave, sin crucero y con cabecera plana. A los pies de la nave se levanta la torre campanario, de planta cuadrada, que tiene una apariencia de torre defensiva, debido a que en 1357 se fortificó el templo.