El edificio consta de un cuerpo principal de dos pisos, torre de tres alturas.

Junto al río Pas y a su paso por Puente Viesgo, se alza el Monte del Castillo. Este monte contiene en su interior cuatro cuevas con arte prehistórico declaradas Patrimonio Mundial por la UNESCO en 2008. De las cuatro cuevas destaca El Castillo, cuyo vestíbulo fue excavado a principios del s .XX, escribiendo la “primera página” de la Prehistoria en España y el “primer capítulo” en Europa. 

Cavidad de trazado complicado, con dos pisos comunicados por chimeneas kársticas, a las cuales debe su nombre la cueva. La entrada actual, que es artificial, se encuentra en el piso superior. El piso superior es laberíntico y carece de interés arqueológico. El piso inferior tuvo una boca, actualmente cegada, y también es de trazado complejo.

Situada en el Monte Castillo y a 600 metros de la cueva de El Castillo, se encuentra la cueva de Las Monedas, declarada por sus pinturas rupestres Patrimonio Mundial por la UNESCO en 2008. Su nombre se debe al hallazgo de un lote de monedas de la época de los Reyes Católicos, encontrado en el interior de la misma.