Les parties les plus anciennes du château fort médiéval datent du 12e siècle. Le château fort est inhabité depuis la moitié du 18e siècle. Depuis lors, les habitants des environs s’en servaient comme carrière.
À partir de 1928, le nouveau propriétaire, Edmond Linckels, fait procéder au débroussaillage des vestiges et mène des travaux de restauration. La ruine est accessible au public depuis 1932.
Vers le milieu du 17e siècle, Jean Baron de Beck fait bâtir le château Renaissance de Beaufort au-dessus du château médiéval. Dès le début, ces bâtiments font office de lieu de résidence. Depuis le décès en 2012 de sa dernière occupante, Mme Anne Marie Linckels-Volmer, cette partie du château se visite également. Le château n’a guère subi de dommages et de transformations depuis son édification et il a de ce fait largement conservé son aspect d’il y a plus de 350 ans.