La elección de este promontorio rocoso de esquisto por parte del barón Robert I como ubicación del castillo se remonta aproximadamente al año 1060. Durante la primera mitad del siglo XIII, el barón André III ordena construir un castillo con planta triangular, como la del castillo actual: un recinto fortificado con torres unidas por muros.
Guy XII y su esposa, Jeanne de Laval Châtillon, iniciaron, a finales del siglo XIV, numerosas modificaciones que se prolongaron hasta principios del siglo XV: elevaron el castillete de entrada, construyeron una residencia verdaderamente señorial con soportales, recuperaron la torre Saint-Laurent, incluyeron un complejo sistema defensivo subterráneo y levantaron la torre de la Madeleine.
Conocemos la existencia del patio delantero del castillo y de la colegiata, hoy desaparecidos, gracias a los planos del arquitecto real Dehuz, anteriores a 1738. En aquella época el patio delantero estaba flanqueado por las caballerizas al Este, al Sur por los depósitos de carruajes y por la colegiata de la Madeleine al Norte. Esta última conectaba con la torre de la Madeleine a través de una pasarela de madera que atravesaba por encima del foso.
Museo del castillo (temporada baja: 1 de octubre - 31 de marzo). De 10.30 a 12.15 y de 14.00 a 17.30. Todos los días excepto el martes y el domingo por la mañana. (Temporada alta: 1 de abril - 30 septiembre). De 10.30 a 12.30 y de 14.00 a 18.30. Todos los días.