El topónimo de Sant Oïsme proviene de Santa Eufèmia , patrona de la población. Las primeras noticias de este lugar datan del año 1095. Inicialmente era propiedad de la familia Meià, pero en 1193 ya no formaba parte de los bienes de esta familia, si bien se desconoce quien tenía su propiedad.

La fortaleza fue construida en el siglo XI. Estaba formada por un recinto rectangular, que tenía adosada una torre circular. Casi no se ha conservado nada de sus muros perimetrales y de sus estancias. Las construcciones que hay sobre el acantilado corresponden a los últimos siglos de la edad media. 

La torre tiene una altura de 14 metros. Estaba dividida en varios pisos, mediante estructuras de madera, hoy desaparecidas. En su lugar encontramos una moderna escalera de hierro, que nos permite subir hasta el tejado desde dónde se disfrutan de interesantes vistas sobre el pantano de Camarasa y en primer término la iglesia de Sant Bartomeu, antigua capilla del castillo.

A 4 metros del suelo encontramos la puerta de acceso original, orientada hacia el sur y restaurada. Está formada por un arco de medio punto dovelado.

Orientada hacia el suroeste y a 8 metros de altura encontramos otra puerta, que probablemente conducía a una estructura defensiva de madera exterior.