En el camino Albelda-Alberite a unos 3 Km. del pueblo se encuentran unas cuevas a las que se denomina Las ventanas de San Bartolomé. En las que se puede entrar, se aprecia el interior amplio y profundo, sin ningún tipo de decoración.

Simplemente un covachón en lo alto del monte que servía de refugio y a la vez de puesto de observación. Un poco más hacia Alberite, hay otra de estas cuevas La ventana de la Mora. También en el camino Albelda  Nalda (a 2km. aproximadamente del pueblo), hay otro monte donde, casi en la cumbre, se halla otra de estas cuevas que le llaman La cueva del Moro. Es esta cueva muy pequeña y tiene unos agujeros en la pared que se parecen bastante a los que hay en la Peña, pero por su forma y por la herramienta utilizada, se nota que fueron construidos hace pocos años.

En este monte, hace 40 años aproximadamente, hubo una cantera de escayola y, según informaciones, fueron los obreros los que hicieron estos agujeros para dejar los bocadillos. Mientras unos 20 cm x 10 cm, son rectangulares en la parte inferior y en la superior un poco semicirculares. Además se aprecia que los hicieron con piqueta o herramienta similar.
Sin embargo los de la Peña miden unos 20 cm x 15 cm, tanto en la parte inferior como en la superior, son rectangulares, y se nota que fueron hechos con un tipo de herramienta más gruesa.

Estos agujeros (los de la peña), son hoy día una incógnita, un misterio que se halla a la vista de todos, y de los que nos podemos peguntar ¿Quién los hizo?¿Fueron los romanos, los musulmanes, quién?¿Para qué los utilizaban? Pero esto aun está por descubrirse.

Lo que si está confirmado es que los monjes del Monasterio de San Martín vivieron en la peña, el M. Yepes escribió sobre ellos diciendo:
Que espanto pasando por Albelda de que pudiesen vivir los Monjes en aquel sitio, más acomodado para nidos de palomas y otras aves que para aposentos de Religiosos.

También Ambrosio Mora, compara los aposentos con los huecos en que las palomas ponen su nido; y es que de creer según Cantera Orive que cada uno de aquellos Santos Monjes, así como se parecían a estas aves en la vivienda, así también merecían su nombre, por la sinceridad y pureza, y por la felicidad y amor con que, despreciados los otros bienes, vivían adheridos sólo a Dios.

Detrás de la Iglesia de San Martín, justo al comenzar la peña, se vé un agujero rectangular, semicircular en la parte superior. Tiene forma de capilla y según se cree, fue hecho por los monjes del Monasterio para guardar alguna imagen.

Otra cueva de la peña es el palomar que recibe este nombre porque hubo un párroco en Albelda, llamado D. Julián Matute, al que le gustaba tener palomas alrededor de la Iglesia y estas se refugiaban en la cueva, por lo que se le acreditó el nombre.

PEÑA SALAGONA O DEL CASTILLO ¿POR QUÉ? 

Recibe este nombre porque antiguamente hubo un castillo donde se recogían los moros y de allí salían a hacer correrías por toda tierra de la Rioja.

También se llama así porque su composición de salagón es de tierra blanca, donde hay venas de yeso, y de calidad y color de la tierra.
Los derrumbamientos de la Peña han sido varios al cabo de los años. El 11 de Noviembre de 1683 cayó gran parte de la peña, sepultando casi por completo el Monasterio de San Martín. Años más tarde el día 18 de Enero de 1848, se desprendió, destruyendo veintidós bodegas y diversos pajares, quedando encerrados un matrimonio que vivía en un covachón de la Peña, que sin padecer lesión alguna fueron sacados al momento.

El 30 de Octubre de 1855 hubo otro desprendimiento que tapó tres bodegas más.

En 1923, el 24 de Diciembre, se produjo otro pequeño, y en esta ocasión fue al conocido rey de Albelda (Pedro Zorzano), a quién sorprendió cuando se encontraba en la bodega que tenía en esta zona. Al retrasarse, los familiares fueron en su busca y enseguida comenzaron los trabajos de desescombro hasta que sacaron al rey al que por suerte, no le había sucedido nada. Otro desprendimiento acaeció el 18 de abril de 1939, el cual partió por medio, en sentido transversal, algunas de las cuevas que años atrás hicieron los monjes del Monasterio.

Otros pequeños y casi sin importancia han ido sucediendo hasta nuestros días.

La peña desde 1683 hasta hace poco, ha sido una sombra amenazante para Albelda, y no como años atrás, vivienda de los monjes del Monasterio de San Martín y anteriormente (al parecer) de los musulmanes.

MUSEO "LA PANERA"

Espacio natural, excavado en la base de la Peña Salagona entre los siglos X y XI. Formaba parte del monasterio de S.Martín; siendo el único recinto que se ha conservado del primitivo emplazamiento religioso. Tiene un tramo excavado en la roca cubierto con bóveda de cañón, arco triunfal de medio punto y cabecera con cúpula vaida sobre pechinas, al parecer del siglo XVIII.
Esta capilla se ha ido deteriorando por el paso de los años y, sobre todo, por la utilización que se le ha dado (para encerrar ganado, como pajar, para guardar herramientas al construir la nueva Iglesia). La capilla está muy mal y se conserva poco de lo que fue. Se pueden apreciar unos capiteles a ambos lados de la entrada y otro al fondo a la izquierda, muy desgastados y sin dibujo alguno; el techo es de salagón y hay una cúpula circular de yeso, al parecer de construcción reciente, apreciándose de ésta, a la derecha, lo que debió de ser una capilla.

De un cuaderno que lleva por título "Apuntes Históricos sobre la villa e Iglesia de Albelda", Angel Ignacio Ruiz Bazán entresacó unos pàrrafos de un testigo que presenció como se destruyó el Monasterio a causa del desprendimiento dela Peña Salagona el 11 de Noviembre de 1683, dicen así:

<<Con el acasso de estar una buena muger cinco días antes de la ruina limpiando (o excomando que dicen) unas alubias encima de dicha peña que llaman sitio muy capaz y común de las heras y haviendo echado menos algunos franos, reconoció se le caían por una grieta o rendija que se había avierto en dhª(dicha) peña, púsola en algún cuidado mas por la disminución y falta de sus alubias que por el daño que pronosticava; recogiolas como pudo y notición de todo esto a Dn. Thomás de Trevijano, hijo de dhª Vª (dicha villa) y canónigo de la Iglesia sugeto opurdete y de grandissimo zelo y afecto al cumplimiento de su obligación como sacerdote y canóngio, quien con toda cautela y silencio para no desconsolar a su cavildo y vezinos asta zeeertificarse de la amenaza ruina y reconociendo por la experiencia la grieta cada instante vió que se abría más y se halló precissado a publicar la desgracia, ocurriendo sin dilación al despojo de la Iglesia sacando todas sus alajas sin óbice alguno, siendo la última pero mas principalísima la del Sto. Tabernáculo que quedó por atalante firme del edificio y fue así, pues denttro de quattro oras que sacaron a su Magestad cajó la peña y hundiomentte la Iglesia>>

Se ha convertido en el centro del Mercado Medieval que se celebra en Albelda de Iregua; siendo acondicionado para acoger en el futuro diversas exposiciones.