Das Gebäude besteht aus 2 verbundenen Schlössern (Burg und Castel) und wurde auf einem römischen Kastell – wie man anhand verschiedener Funde feststellte – zwischen dem 12. und dem 17. Jahrhundert erbaut. Die historische Römerstrasse (von Rom nach Gallien) führte an der Burg vorbei, diese diente zur Bewachung längs der Römerstrasse wie auch um Leuchtsignale weiterzugeben. Der jetzige achteckige Turm (einzig im alten Gebiet) wurde im 12. Jahrhundert erbaut, ist 40 Meter hoch und besteht vornehmlich aus Granit. Eine alte Holzbrücke ist der einzige Zugang zum Turm. Im Falle einer Belagerung konnte sie von den Bewohnern der Burg abgeschlagen werden, nachdem diese sich in den Turm zurückgezogen hatten. Ein unterirdischer Gang führte der Sage nach zur nächsten Burg. Im Laufe der Jahrhunderte wurden weit auslaufende Gebäude um den Turm herum gebaut.

Valer verfügt über zwei Kapelle, eine kleinere im Inneren des Baus, dem heiligen Sebastian geweiht, eine grössere aus der Spätgotik innerhalb der äusseren Burgmauer gelegen, welche dem heiligen Valerius geweiht und mit wertvollen, ausgezeichnet erhaltenen Fresken sehr bekannter Maler aus der Gegend
von Bergamo versehen ist.

Im Jahre 1996 wurde die Kapelle von San Valerio restauriert. Im selben Jahr hat Europa Nostra (Dachorganisation der einzelnen europäischen Burgeninstitute) einen Preis ausgeschrieben für die europaweit am besten restaurierte Kapelle in privater Hand. 400 Bewerber haben an dieser Ausschreibung teilgenommen. San Valerio kam zuerst in die Auswahl der besten 20 und erhielt
schließlich den ausgeschriebenen Preis.