Situada dins l'antic recinte fortificat d'Oliana, domina la vall, com també ho fa el santuari de Santa Maria de Castell-llebre, a l'altra banda del Segre.

Antigament la vila d'Oliana estava situada dalt d'un turó, prop del Roc de les Hores. En el segle XVI el castell i el poble foren abandonats, i la població es va instal·lar en un indret ja ocupat de la plana. A partir d'aquest moment les edificacions es van anar enrunant. Actualment només queden alguns murs del castell i el temple de Sant Andreu, restaurat en 1978.

El temple té planta rectangular, coberta amb volta de canó i reforçada amb tres arcs torals.  Aquesta està acabada en un absis semicircular. Està decorat externament seguint el model llombard amb lesenes i arcs cecs. És de grans dimensions, ja que ha de salvar el fort desnivell de la zona. 

Les dues portes d'accés es troben en el mur nord. Són dues petites obertures amb arc de mig punt adovellat. 

A través de la petita finestra que hi ha en una d'elles vaig poder fer aquesta fotografia, que mostra el doble arc de mig punt que permet l'accés al campanar. 

La gran torre va ser adossada al mur sud posteriorment, té planta quadrada i una alçada de tres pisos. L'inferior és un gran sòcol de pedra en el que no hi trobem cap obertura, només els forats de la bastida, típics de l'arquitectura llombarda.

En les dues plantes superiors s'obre una finestra de mig punt en cada mur, emmarcades entre lesenes cantoneres.  Les del pis superior estan protegides per un arc de mig punt.

El poblat medieval s'estenia al sud del temple. Les cases eren de petites dimensions, formades per una única habitació. Els seus murs exteriors formaven la muralla que envoltava la població. Del castell i del poble només queden en peu alguns murs.