Els orígens de Fontova es situen en època romana. Es creu que a mitjans del segle X es va construir una fortificació per defensar la frontera del comtat, juntament amb el castell de Roda. Les llibertats i franqueses atorgades a Fontova per tractar-se d'un territori fronterer, van afavorir l'establiment de nous pobladors al voltant del castell.

Malauradament les seves defenses no van ser suficients per evitar les ratzies sarraïnes de principis del segle XI. El comte Guillem Isarn va ser l'encarregat de reconstruir la fortalesa. En els següents anys es converteix en un dels castells més importants de la zona i amb força activitat bèlica. En 1110 passà a mans dels comtes del Pallars Jussà i va formar part del patrimoni comtal, fins que fou incorporat a la Corona. A principis del segle XIII, el rei Jaume I va infeudar el castell a Berenguer III d'Erill. A partir del segle XIV Fontova formava part del tercer comtat de Ribagorça. El rei Jaume II va cedir el castell en feu a l'Infant Pere.

El castell s'organitzava al voltant d'una torre circular, restaurada a finals del passat segle. Actualment té una alçada de 19 metres, si bé es creu que estava coronada amb una estructura de fusta, que no s'ha conservat. Interiorment està dividida en quatre pisos, que s'alcen damunt una base massissa.

Com sol ser habitual en aquest tipus de construccions, el pis inferior no té cap tipus d'obertura i s'utilitzava com a magatzem. L'accés es realitzava a través del trespol de fusta que cobria l'estança. El següent nivell era el pis d'accés, on hi ha la porta d'entrada a la torre.

Està orientada cap a sud-est i a uns 7,5 metres d'alçada. La seva estructura és d'arc de mig adovellat i resseguit per petites llossetes.

En aquesta planta trobem l'element més característic de la torre. A diferència del pis inferior, que tenia un sostre de fusta, aquí es va construir una volta de pedra d'arestes, que es recolza en quatre arcs formers, que s'adapten a l'estructura circular de la torre. No és gens habitual aquest tipus d'estructura en una torre circular, per tant ens demostra el bon ofici dels mestres llombards que van treballar en aquesta construcció i el poder que tenia aleshores el senyor del castell.

Al costat de la porta d'accés, trobem una escala de 24 graons, que per l'interior del mur, ens porta fins al tercer nivell, o pis residencial. Una petita finestra d'una sola esqueixada, orientada cap al sud, és l'única obertura de la sala, coberta novament amb una estructura de fusta.

El nivell superior té set grans obertures de mig punt, que permetien l'accés a els diferents cadafals de fusta que hi havia a l'exterior.

El darrer pis, actualment un fantàstic mirador, estava cobert amb una estructura de fusta, probablement cònica. L'espai entre merlets està intercalat entre les finestres del pis inferior, per permetre així una millor defensa, novament a través de cadafals al defora.

Al sud de la torre trobem uns murs en forma de doble angle, que formaven  part de l'accés al recinte fortificat.

Prop d'aquests murs, trobem petites restes de la muralla, que en el seu moment va envoltar tot l'altiplà.

Cap a l'est del recinte fortificat, trobem un aljub excavat a la roca i es va augmentar l'alçada dels seus murs amb filades de carreus.

Completa el conjunt l'església de Santa Cecília, on l'absis del costat oest serveix de base per a una bestorre semicircular, convertida en campanar.