Het Raethuys wordt in 1531 gebouwd

''Richter, burgemeester en schepenen van Bergh verklaren ontvangen te hebben van het Gasthuis 50 gouden rijnse guldens voor de bouw van het Raadhuis, waarvoor zij aan het Gasthuis opdragen een rente van 3 gouden rijnse guldens per jaar uit een weiland ‘upten Brunck’, dat is het grondstuk waar in 1444 nog het Gasthuis staat.'' Zo staat er geschreven.

Dit 'Raethuijs' werd gebouwd in 1531 als opvolger van het 'Ailde Raethuijs' in de Kellenstraat. Het was vanouds het bestuurscentrum, niet alleen van de stad 's-Heerenberg maar ook van het land van den Berghe. Hier vergaderden de Geërfden van het Graafshap Bergh en hier werd recht gesproken voor stad en land. Mogelijk hebben de gewelven gediend als overdekte markt. In de 19de eeuw heeft de brandspuit er een plaatsje gevonden.

Het Raadhuis wordt op een fraaie locatie gebouwd, op de hoek van Hofstraat en Marktstraat. De klok die Segewyn Hatyse-ren uit Zutphen in 1526 heeft gegoten, wordt in de toren gehangen. Hij slaat de uren. Segewyn giet in 1531 een tweede klokje dat voorin de toren komt te hangen. Dat is de noodklok die met de hamer wordt bediend. Dit klokje wordt in 1809 afgestaan aan de katholieke gemeente en het wordt vervangen door het gietijzeren klokje dat vandaag de dag nog steeds in de toren hangt. Omdat er een barst in zit kan het niet meer geluid worden. Op de zolder werd vroeger tabak gedroogd. Het gebouw werd optimaal benut.

Het gebouw lijkt op het stadhuis van Gennep. In die tijd was het populair om de ingangstoren halverwege de lange zijde van een gebouw te plaatsen.