Op 1 april 1818 werd de Maatschappij van Weldadigheid opgericht, met als doel armlastige Nederlanders door boerenarbeid te verheffen. In datzelfde jaar werd op het landgoed Westerbeeksloot, gemeente Vledder, de kolonie Frederiksoord gesticht, later gevolgd door Willemsoord en Wilhelminaoord. In deze koloniën werden hoeves gebouwd waar geselecteerde gezinnen uit heel het land geplaatst werden. De Maatschappij verkreeg daarnaast het vruchtgebruik van de vesting Ommerschans, die in eerste instantie gebruikt werd om zich misdragende kolonisten op te sluiten. Kort daarna werden de vrije koloniën aangevuld met onvrije koloniën, toen het bestuur van de Maatschappij contracten afsloot met de overheid voor de opvang van weeskinderen, landlopers en bedelaars. In de buurschap Veenhuizen, gemeente Norg, verrezen drie gestichten (Veenhuizen I, II en III), terwijl ook de Ommerschans inmiddels gebruikt werd voor de huisvesting van bedelaars. Veteranen en arbeidershuisgezinnen, uit eigen beweging gekomen, bewoonden de huizen aan de buitenzijde van de gestichten. Toen de Maatschappij van Weldadigheid in 1859 financieel aan de grond zat, werden de gestichten (Veenhuizen I t/m III en de Ommerschans) overgenomen door het ministerie van Binnenlandse Zaken. Later, in 1875, nam het ministerie van Justitie het beheer over en werden de gestichten officieel Rijkswerkinrichtingen. Het (deels) vrijwillige karakter verdween, evenals de vrouwen, die werden overgeplaatst. Vanaf de Eerste Wereldoorlog kreeg de status van penitentiaire inrichting langzamerhand de overhand. Veroordeelde smokkelaars en Belgische vluchtelingen waren de eerste vreemde bewoners, maar ook gevangenen met andere vergrijpen dan bedelarij en landloperij op hun kerfstok, werden in Veenhuizen geplaatst.
[bron: DrenLias]
Op 16 oktober 1899 werd Johannes Jacobus Sernee opgenomen in Veenhuizen I wegens landloperij in 's-Hertogenbosch. Hieronder zijn Signalement-Kaart met een pasfoto. Opmerkelijk karakteristieke trek is dat hij hardhorend was.
