Hugues de Noyers, évêque d'Auxerre et tuteur de Miles VII, fit transformer le château primitif de Noyers à la fin du XIIe siècle en un véritable château-fort à triple enceinte, un des plus fiers castels de france selon la chronique. Il fit aussi construire des remparts à la ville. Du donjon de Noyers dépendaient plus de 80 fiefs. Aujourd'hui quelques tours subsistent notamment la tour dite "Tour Pothier", rebatisée Tour Madame.

lire le document de Fabrice Cayot :
http://lepatrimoineoublie.a3w.fr/Donnees/Structures/60809/Upload/131645.pdf