Debajo de la Peña, por donde hoy pasa la carretera BU-550, en el lugar conocido como "La Cruz", se cruzaban dos caminos muy transitados en la antigüedad. Por un lado, el que unía la antigua colonia griega de Ampurias (Gerona), con el durante siglos considerado fin del mundo, en Finisterre, y cuyo trazado coincide básicamente con el actual GR-1, muy conocido y debidamente señalizado para la práctica del senderismo. Por otro lado, el camino que, cruzándose con el anterior, unía los puertos del Cantábrico con la Meseta Castellana, después de superar la Sierra Salvada por el portillo del Aro.
Esta circunstancia ha propiciado un enorme trasiego en la zona a lo largo de los siglos. En algún momento se ve la posibilidad de utilizar esta roca de acceso limitado y de por sí dificultoso, protegida además por el rio Jerea, que sirve de foso natural, y erigir una fortaleza en un lugar tan seguro e inexpugnable, y por tanto de alto valor estratégico y defensivo.
No existen muchos datos sobre los primeros pobladores de la zona, aunque sí diversos hallazgos de restos cerámicos y de utillaje pertenecientes al periodo neolítico. Gentes correspondientes al periodo cultural de la Edad de Hierro, fundaron un poblado de los denominados castros, y probablemente la zona permaneció habitada, pero no se conoce ninguna otra manifestación de sus pobladores hasta los siglos III y IV d. de C. Son los restos de muros y cerámicas romanas que se encontraron durante las tareas de restauración de la ermita en 2005.