Vanaf 1872 werd een deel van de kazernes als gevangenis (Bandietenhuis) in gebruik genomen. Tijdens de tweede wereldoorlog diende deze ook als concentratiekamp voor Duitsers, waaronder de bemanning van de door henzelf tot zinken gebrachte Goslar, en mensen uit Nederlands-Indië, die van NSB-sympathieën werden verdacht.
De omstandigheden in de gevangenis waren zeer zwaar. Met 9 tot 15 personen in één cel, geen verkoeling, slechte hygiënische voorzieningen, enz. Er zijn ook vier isoleercellen. Bij wangedrag was een week verblijf in zo’n aarde donkere en niet geventileerde cel de standaard bestraffing.
De gevangenis is tot 1982 in gebruik gebleven.
Een deel van de cellen is thans in gebruik als expositieruimte.