Un texte de 1042 décrit le « Castrum Minuetum » comme un château fortifié, long de 35 mètres et entouré de quatre tours carrées. Le site reste attaché à l’image de Béatrice de Savoie, qui l’occupa de 1247 jusqu’à sa mort en 1266. En 1260, elle fonda dans le château une commanderie de l’ordre de Saint-Jean-de-Jérusalem, à qui elle céda cet édifice et son domaine. Assiégé à trois reprises durant les guerres de Religion, le château sera détruit au début du XVIIe siècle et une nouvelle commanderie construite dans le bourg.