El topònim de Sant Oïsme prové de Santa Eufèmia , patrona de la població. Les primeres notícies d'aquest indret daten de l'any 1095.  Inicialment era propietat de la família Meià, però en 1193 ja no formava part dels bens d'aquesta família, si bé es desconeix qui en tenia la seva propietat.

La fortalesa va ser construïda en el segle XI. Estava formada per un recinte rectangular, que tenia adossada una torre circular. Gairebé no s'ha conservat res dels seus murs perimetrals i estances del castell. Les construccions que hi ha sobre el penya-segat corresponen als darrers segles de l'edat mitjana. 

La torre té una alçada de 14 metres. Estava dividida en diversos pisos, mitjançant estructures de fusta, avui desaparegudes. En el seu lloc trobem una moderna escala de ferro, que ens permet pujar fins la teulada des d'on es gaudeixen d'interessants vistes sobre el pantà de Camarasa i en primer terme l'església de Sant Bartomeu, antiga capella del castell.

A 4 metres del terra trobem la porta d'accés original, orientada cap al sud i restaurada. Està formada per un arc de mig punt adovellat.

Orientada cap al sud-oest i a 8 metres d'alçada trobem una altra porta, que probablement conduïa a una estructura defensiva de fusta exterior.