Construida en 1440 por la familia Castillo, señores de Santa Maria del Campo y Fermoselle. Por este motivo el edificio es conocido como Palacio de los Fermoselle. Posteriormente pasó a manos del barón de las Cuatro Torres, motivo por el cual también es conocido con el nombre de Palacio de las Cuatro Torres.

Tiene aspecto de fortaleza, reforzado por su esbelta torre, debido a que durante los siglos XIV y XV eran habituales las luchas entre las familias nobles de la ciudad. En la fachada del palacio encontramos muy pocas ventanas. Destacan las de la torre, decoradas con bellas tracerías góticas.

En época moderna se cubrieron las almenas con un tejado a cuatro aguas.

En la actualidad el palacio es la residencia universitaria de las hermanas de la Inmaculada.