De oorspronkelijke burcht werd, volgens latere kronieken, opgericht door Robrecht de Fries, graaf van Vlaanderen, op het einde van de 11e eeuw. De oudste vermelding van de burcht in een eigentijdse bron, het dagboek van Galbert van Brugge, ...