Figuré dans toute sa splendeur sur l’enluminure des Très Riches Heures du duc de Berry, le château a connu une histoire mouvementée, échappant de peu à la démolition. La tour romane du XIe siècle s’est vue entourée de quatre tours rondes avant d’être arasée. Louis Ier d’Anjou transforme le château en palais. Son fils, Louis II, lui donne au XVe siècle sa silhouette actuelle. Si le souvenir du roi René demeure, le château est resté après sa mort, pendant un siècle, inhabité, avant d’accueillir en 1589 le gouverneur protestant Duplessis-Mornay. Ce dernier fait édifier, autour du château une citadelle à bastions et redans achevée bien après sa destitution exigée par Louis XIII. Sous Louis XIV, le château, lieu de garnison et prison, se dégrade fortement et son affectation en prison d’État par Napoléon Ier le sauve de la ruine. En 1906, le château est acheté par la Ville de Saumur qui entreprend sa restauration pour abriter le musée municipal, labellisé Musée de France, avec notamment la collection du comte Charles Lair. Ce Musée municipal est fondé en 1829. A dominante archéologique et zoologique, le Musée bénéficie rapidement de dépôts d'oeuvres de l'Etat, ainsi que de dons de personnalités locales. Installé à l'hôtel de ville, il devient vite à l'étroit. Le maire de Saumur décide le transfert des collections au Chateau, restauré pour l'occasion. Le nouveau Musee est inauguré en 1912. Dans le même temps, la société des Amis du Musee du cheval installe ses collections au 2e étage du Chateau. En 1919, le Musee municipal bénéficie du legs de Charles Lair. Le fonds est enrichi de plus de 1400 céramiques, 7032 ex-libris, 350 objets d'art dont des peintures et des sculptures, 292 objets mobiliers, 250 éléments textiles, 280 livres. D'autres dons et legs importants viennent compléter les collections jusqu'à nos jours. Le Musee compte actuellement plus de trente mille items. En 1957, la collection des Amis du Musée du cheval est dévolue à la Ville.Le Musée est situé dans un Chateau du XIVe siècle. Il occupe tous les niveaux du monument, ainsi que des bâtiments annexes.