Hier situeerde zich in de 13de eeuw een eerste mottekasteel. Dit Hof ter Walle was eigendom van Hugo II (1212-1232 burggraaf van Gent). Rond 1231 verkocht hij het Hof (land met wal en voorhof, gelegen tussen Gravensteen en Wondelgem) aan Alexander Braem (een lakenkoopman van het Gentse patriarchaat) die zich ‘ridder’ liet noemen en zijn naam wijzigde in Sersanders. De straatnaam Sanderswal herinnert nog aan deze familie.
In 1223 kwam het Hof in het bezit van Simon de Mirabello , heer van Helm. Hij was een zoon van een steenrijke geldwisselaar uit Lombardije. Simon zette de bankiersfunctie van zijn vader voort en werd een rijke financier van o.m. de graven van Vlaanderen en de stad Gent.
In 1340 wilde Simon het goed afstaan aan een kloosterorde. In de nasleep van de gebeurtenissen rond Jacob van Artevelde werd de Mirabello vermoord. Wellicht als straf voor zijn pro-Arteveldekoers in het conflict tussen de stad en de graaf, hield graaf Lodewijk van Male geen rekening met de wens van de overledene om in het hof een klooster op te richten en eiste het op. Een akte van 8 mei 1353 bevestigt graaf Lodewijk van Male als nieuwe eigenaar van Sanderswal (Hof ten Walle) met bijhorende weiden, boomgaarden en afhankelijkheden. Dit grafelijk eigendom lag wel binnen de Gentse stadsmuren, maar was echter niet aan de stedelijke wet- en regelgeving onderworpen.
Het omwalde domein van 2 ha strekte zich uit van de huidige Abrahamstraat tot aan de nog bestaande Donkere Poort en het begijnhof. De graaf liet het Hof ten Walle verbouwen tot een luxueus kasteel ter vervanging van het verouderde Gravensteen. Het Gravensteen werd dan de bestuurlijke zetel van de graven. Het Hof Ten Walle werd hun woonplaats. Werk en wonen werden van elkaar gescheiden.