Huyse Poort te Buren, Abraham de Haen - 1728
Middeleeuwse grachten, muren en poorten zijn aangelegd tegen het einde van de veertiende eeuw, in opdracht van Allard IV Heer van Buren. Langs een groot deel van de omtrek fungeerde de rivier de Korne als vestinggracht. De stad is gesitueerd nabij het voormalig Kasteel Buren en functioneerde in de Middeleeuwen, tijdens het bewind van de Heren van Buren, als bestuurscentrum en tevens als grensvesting tegenover het Hertogdom Gelre. Tijdens de Tachtigjarige Oorlog speelde de vesting een rol in de gebiedsbeheersing door het Staatse Leger.
De omwalling van de stad werd verbeterd omstreeks het midden van de zestiende eeuw door Alessandro Pasqualini van Bologna, in opdracht van Graaf Maximiliaan van Egmont-Buren. Toen is waarschijnlijk de aanaarding van de stadsmuren tot stand gekomen.Omstreeks 1621 werden, in opdracht van Prins Maurits, door de ingenieurs Cray en Commersteyn de wallen verbeterd; daarbij kwamen delen van de stadsmuur, o.a. aan de noordzijde, onder de verzwaarde wal terecht. De huidige grondvorm van de ommuring, omwalling en grachten is nog vrijwel geheel die, welke toen tot stand is gekomen.
Voor de stad waren de volgende historische toegangspoorten van belang:
Voor de Culemborgse- of Huizenpoort en voor de Vrouwen- of Tielse poort stond een z.g. hameipoort, een middel tot afsluiting of afperking aan het einde van een brug.
In het midden van de negentiende eeuw werden de poortgebouwen, met uitzondering van de Culemborgse- of Huizenpoort en het Begijnenpoortje, afgebroken; de voorgelegen bruggen zijn dan al, of werden snel daarna, vervangen door dammen of vaste bruggen.
Het grootse gedeelte van de laat-14de-eeuwse ommuring is nog herkenbaar. Aan de zuidzijde zijn delen (onderstuk) van twee waltorentjes behouden. De gracht is alleen gedempt achter de Kniphoek ('t Stek). Van de poorten resteert de De Culemborgse of Huizenpoort. De overwelfde rondboogdoorgang is laat-14de-eeuws. De bovenbouw werd in 1630herbouwd door architect Willem van Saelen met een zadeldak tussen twee topgevels, daarvoor had de poort waarschijnlijk een houten bovenbouw. Voor de zonnewijzer aan de stadszijde werd in 1631 3 gulden en 5 stuivers betaald aan mr.Jacob Canneman voor het bouwen hiervan alsmede aan mr. Adriaen Boscoop voor het schilderen en vergulden van de letters. In 1730 wordt de ophaalbrug voor de poort vervangen door een vaste stenen brug. De gevel aan de stadszijde is, blijkens het jaartal op de sluitsteen, vernieuwd in 1816.