Auf dem Gipfel des Eisenbergs ragt heute der Georg-Viktor-Aussichtsturm in die Höhe. Früher aber stand hier eine Burg, die sich urkundlich seit der Mitte des 14. Jahrhunderts nachweisen lässt. Damals wohnten die Herren von Nordenbeck dort. 1367 war die Burg im Besitz der Grafen zu Waldeck, und seit Gründung der Eisenberger Linie im Jahr 1486 durch Graf Philipp II. war sie gräfliche Residenz

Seit dieser Zeit ließen die Grafen die Burg zum Schloss ausbauen und erweitern. Im Jahr 1500 wurde ein neuer Turm an die Nordseite der alten Kernburg angebaut. Ab 1520 wurde die Kernburg modernisiert und ausgebaut. Zudem entstand ein neues Renaissance-Schloss außerhalb des alten Burggrabens. Und 1586 begann man mit dem Bau der neuen Schlosskirche, die im Süden der Kernburg in den Burggraben hineinreicht.

Um 1600 herrschte auf dem Eisenberg Graf Wolrad IV. Zu diesem Zeitpunkt war das Schloss Eisenberg eines der stattlichsten und schönsten Schlösser des Waldecker Landes. Vier Generationen der Waldecker Grafen hatten an seiner Vervollkommnung und Ausstattung gearbeitet. Zahlreiche Feste waren anlässlich von Geburt, Taufe und Vermählung von Mitgliedern des gräflichen Hauses hier gefeiert worden. Es gab Theater- und Opernaufführungen, aber auch ernste staatspolitische Zusammenkünfte und Beratungen, als es sich um die Durchführung der Reformation in der nahe gelegenen allzu widerspenstigen Stadt Korbach, um die Teilnahme am Schmalkaldischen Krieg oder eine kaiserliche Vorladung vor den Reichstag zu Augsburg handelte.

Diese Blütezeit währte allerdings nur kurz. Als Landgraf Moritz von Hessen im Jahre 1621 von den Korbachern in ihrem Streit mit den Waldecker Grafen zu Hilfe gerufen wurde und das ganze Land Waldeck besetzte, drang auch eine Abteilung hessischer Truppen in das Eisenberger Schloss ein. Die Gebäude wurden geplündert und standen danach rund zwei Jahrzehnte leer.

Erst 1640 wurde das Schloss wiederhergerichtet und für rund 30 Jahre noch einmal bewohnt, doch der alte Glanz war unwiederbringlich verloren. Danach verfielen die einst so stolzen Gebäude. Ein Sturm riss im Jahre 1689 die Dächer herunter und vernichtete sämtliche Fensterscheiben. Wind und Regen fegten durch die Räume und führten das Werk der Zerstörung weiter. 1704 war das Schloss völlig verwahrlost. Um 1720 wurden Balkenwerk und Steine bereits als Baumaterial für andere Gebäude verwendet. Seitdem war das Schloss nur noch eine Ruine, aber auch diese verfiel und wurde von den Bewohnern der umliegenden Ortschaften, insbesondere des Dörfchens Goldhausen, als Steinbruch verwandt. Schließlich verschwanden auch die letzten Reste allmählich unter dem Waldboden.

Bis 1973 konnte niemand sehen, dass auf dem Eisenberg einmal ein Schloss gestanden hatte – bis im Sommer 1974 Ausgrabung und Restaurierung begannen. Allmählich wurden die Grundmauern der hufeisenförmigen Kernburg sichtbar, umgeben von Graben und Wall. Der Burgbrunnen wurde entdeckt, die neue Kirche und das auf dem Vorgelände gebaute kleine Renaissanceschloss nahmen Gestalt an. Funde von Keramiken und Gläsern oder auch geschmückte Ofenkacheln der kostbaren Renaissance-Öfen im Schloss sind heute in einer Ausstellung im Korbacher Museum zu besichtigen.