El museo ubicado en el castillo de Vitré (donde también se encuentra el ayuntamiento) fue fundado en 1876 por Arthur de la Borderie, animado por el espíritu enciclopédico de la época. El museo está dedicado al castillo medieval.
El castillo, levantado en 1080 por el barón de Vitré sobre un promontorio rocoso que domina el valle del Vilaine, fue reconstruido en el siglo XIII con el diseño de planta triangular que se mantiene hoy en día. Durante esa misma época la familia Vitré se une a la familia Laval, y durante los siglos XV y XVI pasa a manos de la familia Trémouïlle. Se trata de un interesante ejemplo de castillo medieval, en este caso ubicado en la frontera franco-bretona, el museo del castillo rememora la historia de Vitré: la decoración de los aposentos, las artes decorativas, la farmacia…