La chanson populaire évoque une longue histoire. Prison du Bouffay, prison Lafayette, des lieux d'enfermement qui se sont succédé ou ont cohabité au cours des siècles, le château ne fut pas le moindre acteur : ses murailles ont abrité, détenu, laissé filer les prisonniers les plus divers, célèbres ou anonymes, nobles comploteurs, soldats capturés sur les champs de bataille ou marins pris aux navires ennemis… Les conditions de détention y furent inégales, clémentes pour quelques-uns, effroyables souvent dans ses cachots surpeuplés. N'en demeure que le souvenir, audible dans les archives ou gravé dans la pierre. Les prisons ont désormais quitté le cœr de la ville, installant leur modernité à sa périphérie.