De mooie plek heeft een verrassende geschiedenis. In 1574 spreekt op deze oever Willem van Oranje 8000 verzamelde watergeuzen toe, waarna ze Leiden ontzetten. In de eeuwen erna is het 100 hectare landbouwgrond van een afgelegen boerenfamilie. De dijk was de weg en hier was een kleine insteekhaven en veerpontje. Een bomengroep gaf bescherming in het open polderlandschap.
De boerenfamilie besloot de buitendijkse plek te verkopen aan de burgemeester van Den Haag. Deze man heeft de plek ontdekt en werd prompt de dijkgraaf van heel Rijnland. De dijkweg is destijds verlegd naar de polder, waardoor het huis de bomengroep als tuin erbij kreeg.
Het vreemde witte huis van de dijkgraaf maakt nu plaats voor het buitenhuis. Bij de start van de bouw blijkt er tijdens het slaan van de palen op 10 meter diepte een obstakel te zijn. De verloren burcht? Of zelfs een Romeins schip..?