En el recóndito y tranquilo valle de Valderredible -vale de ripa Hibre, "valle del río Ebro"-  se encuentra una de las mejores iglesias rupestres de la península, excavada en roca arenisca.

El templo ha sufrido varias modificaciones a lo largo de los siglos. Inicialmente estaba formado por una única nave. El antiguo ábside, orientado al este y abierto a la nave mediante un arco de herradura, aloja actualmente la pila bautismal.

En ella todavía se bautizan los habitantes de Valverde, pues la iglesia continúa abierta al culto y realizando las tareas de parroquia.

La antigua cabecera se comunicaba, por el lado izquierdo, con lo que fue la sacristía y por la derecha con una cámara sepulcral, a la que se accede también por un arco de herradura. Hoy, esta estancia forma parte de una de las dos naves que tiene la iglesia.

En el siglo XI se produce una ampliación del templo, excavando dos naves a la derecha de la primitiva. Cada una de estas nuevas naves tenía un ábside al este. En el de más al sur, todavía se puede apreciar el emplazamiento del altar mayor bajo un arco peraltado dónde hay grabada una cruz patada.

El templo fue nuevamente ampliado, construyendo una gran nave orientada hacia el sur. La antigua triple cabecera hoy forma parte de las capillas laterales, donde se pueden observar restos de encalado de épocas muy posteriores y el sepulcro del que fue paje del Duque del Infantado, D. Antonio Gómez Navamuel, que fue enterrado en Santa María por expresa voluntad suya.

Se puede observar una imagen renacentista de la Virgen de la Buena Leche.

En el exterior del eremitorio, encontramos una necrópolis con tumbas antropomorfas, como era habitual en aquella época.

Sobre la roca, se levanta un campanario románico de espadaña, con tres pisos de altura. En el primer piso están emplazadas dos ventanas apuntadas, donde se alojan las campanas. En el segundo se obren dos ventanas de arco de medio punto, mientras que en el tercero se abre una sola, más pequeña y con arco también de medio punto.

Este campanario, hasta hace pocos años, todavía conservaba la escalera de caracol que permitía acceder a las campanas. Desgraciadamente, en la actualidad sólo se conserva su parte inferior.

La iglesia fue proclamada Bien de Interés Cultural en 1985.