Esta antigua casa solariega, una de las residencias de los barones de Vitré, resultaba más cómoda que el castillo medieval. Fue construida durante la primera mitad del siglo XVII. De hecho, en el interior del palacio, un techo pintado al estilo francés en el que aparece el escudo de armas de Marie de la Tour-Bouillon, que contrajo matrimonio con Henri de La Trémouïlle en 1619, no deja lugar a duda sobre la fecha.
El edificio principal es de planta rectangular y se encuentra al fondo del patio, está delimitado por pabellones dobles que constituyen las alas de la construcción. Se trata de un edificio sobrio construido con arenisca de Vitré.
Un plano en acuarela del XVIII nos permite hacernos una idea de cómo era el edificio en su origen: frente a él se extendía una avenida (hoy en día es la avenida Champ-de-Foire) y estaba rodeado de alamedas que desembocaban en diferentes jardines y praderas. Fue confiscado durante la Revolución Francesa y adquirido por la ciudad a finales del XIX. Parte de la finca se dedicó al Jardin du Parc y al Cuartel de Infantería.
Fue restaurado en 1934 y albergó las oficinas del Servicio Departamental de Fomento. En el año 2003 se emprendieron los trabajos de acondicionamiento necesarios para que el edificio pudiese servir como sede de Vitré Communauté (agencia de cooperación intermunicipal).