Nach Streitigkeiten mit den Alfeldern gestattet der Hildesheimer Bischof Magnus den auf dem Burgherrenhof in Alfeld ansässigen Brüdern Heinrich und Dietrich von Steinberg den Bau einer hölzernen Burg am Zusammenfluss von "Wespe und Leyna". 1451 wird die Burg gebaut. Durch ihre Lage ist sie von drei Seiten durch die Leine, die Wispe und den südlich liegenden Oberg geschützt. Das Wohnhaus hat nur ein einziges Geschoss ist von einem breiten Wassergraben umgeben. Die Ansiedlung besteht zuerst nur aus dem Wohnhaus derer von Steinberg. Sie wird Wispenstein genannt. Die Zeichnung zeigt die Burg Wispenstein um 1530:

Das "Herrschaftlige Wohn Haus", das Brauhaus und andere Nebengebäude sind durch Eckbefestigungen geschützt. Über eine Brücke gelangt man zum weiträumigen Wirtschaftshof. Er wird östlich vom Burggraben und westlich von der Wispe begrenzt, die weiter unten in die Leine fließt. Die Wispebrücke wird von der Schäferei und der Försterei gleichsam bewacht. Anschließend an den Wirtschaftshof, am linken Ufer der Wispe, erstreckt sich der Gutsgarten mit dem "Garten Haus", aus dessen Hochgeschoss man den Garten wunderbar überblicken kann.

Diese Karte von 1784 zeigt den "Grundriss des freiherrlich Steinbergischen Guthes Wispenstein mit Imbegriff der dabey liegenden Vorburg"

Zwischen Wispe, Burg und Leine wurden in den Jahren 1451-1470 18 "Vorbürger" angesiedelt. Die übrigen wohnen an der Durchgangsstraße, entlang dem Mühlenbach, der weiter abwärts eine Mühle antreibt. Mit ihren Anwesen decken sie die offene Flanke im Zugang zur Burg. In der entgegengesetzten Richtung befindet sich der (alte) Krug. Alle Häuser tragen in der obigen Darstellung Nummern. Auf der Legende sind die "Nahmen der Vorbürger" angegeben.
 

Overmann, Ernst Heinrich Tönges, Georg Friedrich Eltze, Georg Heinrich Von Soest, Georg Friedrich Eltze, Johann Peter Kirk, Johann Wilhelm Overmann, Konrad Kirk, Johann Konrad Kirk, Matthias

Sack, Johann Ludewig Lohmann, Johann Friedrich Soest Johann Konrad Tönges Christian Kettler Johann Friedrich Regenhardt, Konrad Lemensiek, Heinrich Bruns, Adam Eltze, Friedrich

Die Vorbürger zahlen für Haus, Garten und Land eine Erbpacht an den Gutsherren. Im allgemeinen waren es zehn Taler. Insgesamt bewirtschaften sie 17 ha Land.

Zwischen Landstraße und Wispe zieht sich der Burganger mit einer Allee hin. Hier können die Vorbürger ihr Kleinvieh weiden. Andere Einrichtungen wie die Bleiche an der Wispemündung und das Backhaus vor der Burg stehen ebenfalls zu ihrer Verfügung. Die arbeitsfähigen Mitglieder sämtlicher Haushalte waren auf dem Wirtschaftshof, zumindest in der Erntezeit, beschäftigt. Sie lebten alle vom Gut. Es ist bemerkenswert, wie trotz mancher Neubauten auch heute noch der alte Charakter des Ortsbildes erhalten ist.

Das Herrenhaus war anfangs aus Holz gefertigt. Mitte des 16. Jahrhunderts wurde es abgerissen und dann ein Haus aus Stein gebaut. Von den noch vorhandenen alten Gebäuden ist das etwa 28 x 15,20 m im Grundriss große Herrenhaus das bedeutendste, dessen Erdgeschoss mit 1 m dicken, verputzten Bruchsteinmauern noch der  spätgotischen  Bauperiode entstammt. Die schlichten Fenster- und Türumrahmungen aus Werkstein haben erst später die jetzige Form erhalten. Das in Eichenfachwerk gegen Ende des Jahrhunderts hergestellte Obergeschoss setzt sich mit leicht vorgekragter Balkenlage auf das gotisch profilierte Abschlussgesims des Erdgeschosses. Die Setzschwelle und  der untere Teil  der Fachwerkstiele sind mit Flachschnitzereien geschmückt; Auskehlungen an der Setzschwelle und den Füllhölzern. Ein kleiner Erker ist an der Nordostecke des Obergeschosses vorgezogen. An der Südwestecke ragt noch 5 m hoch über Erdgleiche der Rest des im Halbrund aus Bruchstein erbauten Befestigungsturmes empor mit tonnengewölbtem von außen zugänglichem Kellerraum. Das mit Krüppelwalmen versehene Dach ist mit roten Pfannen, der First mit Sandsteinplatten gedeckt.  Statt der Windfedern haben die Giebelkanten beschieferte Einfassungen erhalten. Die  Südseite des Gebäudes trägt roten Sandsteinplattenbehang.