Als vanaf 1804 het kasteel geleidelijk wordt gesloopt ontstaat het grote middenterrein. Het veld verrommelt snel, op het veld komen moestuinen omringd door kale hoge aarden wallen en rondelen.
In 1828 werd op het noordoostelijk rondeel de Algemene begraafplaats aangelegd, omdat de oude begraafplaats naast de kerk te klein was geworden. In 1847 werd de Jodenbegraafplaats verhuisd naar een plek naast de Algemene begraafplaats. Voorheen begroef de Joodse gemeenschap van Buren haar doden buiten de stad, aan de Aalsdijk (zie ook POI 36).
De huidige aanleg van de begraafplaats dateert hoogstwaarschijnlijk van 1883. In dat jaar vonden namelijk ook de aanbestedingen plaats van het entreegebouw en het ‘vloedvrij locaal’. Dit vloedvrije gebouw werd op het hoogste punt gezet zodat het bij hoog water als wijkplaats voor de bevolking kon dienen. Thans is het gebouw in gebruik als clubhuis van de tennisvereniging.
In 1859 werd door de Gemeenteraad besloten om op het voormalig kasteelterrein een wandelpark aan te leggen, waarna men een jaar later met de werkzaamheden begon. Karl Georg Zocher, een telg uit de bekende 19e eeuwse familie van park- en tuinarchitecten krijgt de opdracht voor een ontwerp. De hoge wallen worden deels de buitengracht ingeschoven en op de glooiende hellingen komt een park met slingerende, krakelingvormige paden. Langs de paden zijn bomen geplant, vooral essen, iepen en elzen en een enkele eik en linde, met daartussen hakhout.
Vanaf april 1861 zijn diverse posten te vinden in het kasboek van de gemeente, waaruit blijkt dat in het Plantsoen flink werd gewerkt. De boomkweker M. de Hoog leverde 300 elzen voor f 1,80 en 1 pepermundboom voor f 0,75. Dat was een dure dus bijzondere boom.
In 1884 beschreef Jacobus Craandijk, in ‘wandelingen door Nederland met pen en potlood’, het Plantsoen van Buren als volgt:
“ Ook het groote, digtbegroeide bosch, dat wij eenigen tijd aan onze regterhand hebben, eer wij het stadje bereiken, maakt naauwelijks een uitzondering. Door breede slooten van den weg gescheiden, zouden wij er geen ingang kunnen vinden, en waar 't ons gelukt er een blik in te slaan, daar meenen wij lange lanen van iepen en esschen en uitgestrekte boschjes van elshout en struiken te zien. Voor de inwoners van Buren is dit kasteelbosch een gezochte wandelplaats, maar den voetreiziger bereidt het de gewenschte gelegenheid niet, om eens af te wijken van den grooten weg, en het schijnt ook niet zóó uitlokkend, dat wij 't gemis van een toegang grootelijks hebben te betreuren.....”
Maar het is ook anders geweest getuige een gedicht uit 1867 van G. Ribbius ‘de dichtende dokter uit Buren’
Ingang Plantsoen omstreeks 1920
Aan het eind van de 19e eeuw wordt dan het park opnieuw beplant, nu met beuken en kastanjes een paar eiken en essen.
Feitelijk zijn er in het park twee hoofdroutes, één langs de binnenrand, de ander langs de buitenrand. Deze worden onderling met paadjes verbonden, waardoor men van beneden - de buitenrand - naar boven langs de binnenrand kan lopen. Dat zorgt voor een grote variatie aan wandelmogelijkheden met de daaraan gekoppelde beelden: uitzichten over de lengte van de grachten, over het binnenterrein, door het bos naar buiten en vanuit de westelijke bosrand naar de Dreven of Toeren. Er zijn slingerende beukenlanen aan de noord- en de westkant en paden met veel kastanjes erlangs in de zuidoosthoek. De veelheid van deze slingerpaden is niet alleen typerend voor een landschapspark uit de 19e eeuw, maar het functioneren ervan wordt ook bewezen door zijn vele bezoekers. Op zo’n klein oppervlak kan je op vele verschillende manieren rondwandelen.
In het park vinden we twee hoofdboomsoorten, waarbij we Paardenkastanjes vooral aan de zuidkant en beuken hoofdzakelijk aan de noordkant aantreffen. Een combinatie van beide boomsoorten ziet men aan de westkant van het park. Door het tellen van de jaarringen van reeds eerder gevelde bomen kon worden geconcludeerd dat deze kastanjes en beuken omstreeks 1890-1900 zijn aangeplant. Rond het binnenterrein staan majestueuze Paardenkastanjes maar ook groepen Robinia pseudo-acacia. Een oude beuk en een vijftal kastanjebomen staan om het voorplein. Op de begraafplaats staan nog verschillende oude beuken. De kastanjebomen en robinia’s om het open binnenterrein staan daar wegens hun sierwaarde. De kastanjes zijn dikwijls meerstammig, zij markeren bijzondere plekken. Aan het noordwestelijke heuveltje, waar het rondeel lag, staat een kolossale beuk met zijn wortels uitgespreid over de heuvel. Waardevol zijn de bomen langs en op de hoekpunten van de slingerende wandelpaden, die typerend zijn voor de historische aanleg van het park.
Er staan in de vakken diverse heestersoorten als Gelderse roos, mahonia japonica, sneeuwbes, hazelaar, meidoorn, kornoelje, kardinaalsmuts, vlier en bosaalbes. En verder stinsenplanten als kraailook, Italiaanse aronskelk, boshyacint, bostulp, bosanemoon en sneeuwklokjes.