C’est en référence à ce château que le village de Rennes-le-Château prit son nom. Les fortifications de ce château pourraient remonter à l'époque wisigothique, c'est-à-dire au VIème siècle. Ce château fut détruit et reconstruit à la fin du XIIIème siècle par les de Voisins. Le château actuel date du XVIème siècle, mais il conserve des vestiges du XIIIème siècle. Au XVIIème siècle la famille d’Hautpoul agrandit ce dernier. Marie de Nègre d’Ables d’Hautpoul en fut la dernière seigneuresse. Elle décéda le 17 janvier 1781, révélant "un secret de très grande conséquence" à l’abbé Bigou, secret qu’il aurait gravé sur la tombe de la marquise.

Sous le château il existerait des souterrains éboulés. Ce château comporte une tour ronde et trois tours carrées. Il appartient aujourd’hui à un particulier et ne se visite malheureusement pas.