Le Traité des Pyrénées de 1659 porte un coup très dur à Carcassonne, et tout particulièrement à la Cité, qui perd son importance stratégique avec le recul de la frontière au-delà des Pyrénées et du Roussillon.

Au 18e siècle, la Cité est devenue un quartier misérable et excentré. Saint Nazaire perd son titre de cathédrale en 1802 au profit de Saint Michel, les évêques séjournaient de toute manière le plus souvent en Ville Basse depuis déjà des années. L'armée abandonne sa tutelle sur la Cité en 1804, c'est la débandade !

Les toitures se délabrent peu à peu, les murs se lézardent, les habitants de la Cité n'hésitent pas à utiliser les murailles comme carrières de pierre pour leur utilisation personnelle… et l'Administration des Domaines, dont dépend désormais la Cité, vend nombre de parcelles.

Un lent changement de mentalité va heureusement permettre de sauver le monument. En 1821, alors qu'on démolit la barbacane du château, la Cité est classée "Place forte de deuxième série" par ordonnance royale.
Il est vraisemblable que certaines pierres comme celle prise en photo qui constituent les bâtisses du domaine proviennent de la forteresse pillée à partir de 1804 par les habitants de la région.