L'edificio si compone di 2 manieri medioevali adiacenti derivanti da una fortificazione romana - come dimostra il ritrovamento di diversi reperti archeologici - costruiti tra il 12° e il 17° secolo. La storica strada romana (che portava da Roma alla Gallia) passava nei pressi del Castello, in questo modo il Castello serviva come punto di guardia lungo la strada romana nonché come luogo utile per la trasmissione dei segnali luminosi. L’attuale torre ottagonale è stata costruita nel 12° secolo, è alta 40 metri ed è stata realizzata principalmente con granito. Un antico ponte di legno è l'unico accesso alla torre. In caso di assedio gli abitanti di Valer potevano ripararsi dall’attacco dopo essersi ritirati nella torre abbattendo il ponticello. Un passaggio sotterraneo portava ad un altro castello distante 2 Km. Nel corso dei secoli gli edifici successivi furono costruiti intorno alla torre per difesa dell’intero complesso.

Castel Valer ha due cappelle, una più piccola situata all'interno dell'edificio e consacrata a San Sebastiano ed una più grande di epoca tardo gotica (anno 1473), che si trova all'interno del muro di cinta, dedicata a San Valerio ed impreziosita da affreschi molto ben conservati dei noti pittori della zona di Bergamo,
Giovanni e Battista Baschenis.

La cappella di San Valerio è stata restaurata nel 1996. Nello stesso anno, Europa Nostra (istituzione pan-europea per il patrimonio culturale) ha dedicato un premio al miglior restauro di una cappella situata all’interno di una proprietà privata. Alla gara hanno partecipato 400 candidati. La cappella di San Valerio si è posizionata tra le migliori 20 ed ha ottenuto il primo premio.