Les primeres notícies que ens han arribat del castell daten de l'any 957, moment en que el castell era propietat dels comtes de Barcelona. Posteriorment el van cedir a Gombau de Besora. En el segle XIII el va comprar el rei Jaume I. Anys més tard, concretament en 1323, Jaume II se'l va vendre per tal de recaptar diners per a la conquesta de Còrsega i Sardenya. En 1897 l'adquirí el banquer Manel Girona. 

Malgrat l'estat d'abandó i de runa, es poden distingir clarament els dos recintes en que estava dividit el castell. El superior, o sobirà, és on es trobaven les edificacions nobles. En l'inferior o jussà hi trobem el cementiri, l'església de Sant Miquel i la cisterna. Els dos recintes estan comunicats per una passarel·la de fusta, que substitueix al pont de pedra que hi havia. 

S'accedeix al recinte sobirà per una porta de mig punt.

En l'interior d'aquest recinte trobem diverses dependències ben delimitades. La més interessant és la que trobem just desprès de creuar la porta d'accés. És una sala rectangular on es conserven dos dels tres grans arcs de mig punt que suportaven el pis superior. El mur sud formava part de la pròpia muralla.

En el sector que hi ha més a l'oest trobem un arc de mig punt i l'arrencada d'un altre que de ben segur dividien una gran estança en dues naus.

Prop d'aquí trobem una petita cisterna i dues cambres més, que encara conserven els arcs de les portes. 

En el recinte jussà hi trobem l'església de sant Miquel. És un petit edifici de planta rectangular, en molt mal estat de conservació. Té una única nau coberta amb volta de canó apuntada. La porta d'accés romànica s'obre en el mur sud.  És una senzilla porta de mig punt amb l'arc adovellat. En aquest mur també hi trobem un gran campanar de cadireta de dos ulls. En el mur est s'obre una porta de factura moderna, en l'espai on abans estava l'absis, que es va enfonsar. Aquest tenia planta quadrada. L'edifici va ser construït en el segle XI, però es va reformar i ampliar en els segles XII, XVI i XVIII. 

Al seu voltant trobem excavades algunes tombes antropomorfes del segle X.

Prop del temple trobem una gran cisterna excavada a la roca.

Pujar al castell és una bonica excursió i tota una experiència. El camí s'inicia al costat del temple de Santa Maria de Bruguers i ens porta per indrets tant pintorescos com aquest arc eòlic.