Der Standort des Gutes Hanerau wurde im 12.Jahrhundert als Burg der Holsteiner Grafen begründet – 
am Rande des alten Handelsweges, der von Lübeck nach Dithmarschen führte. Sie diente in Kriegszeiten als Bollwerk und Operationsbasis gegen Dithmarschen und in Friedenzeiten wurden von hier die Abgaben eingezogen.
Nach den Dithmarschenkriegen 1525 wechselte das Gut häufig den Besitzer unter den Adelsgeschlechter in Schleswig-Holstein (u.a. Rantzau und v. Rumohr). In dieser Zeit entstand die erste bildlich überlieferte Burg, ein dreiflügeliger Bau, der 1644 im 30 jährigen Krieg von den Schweden niedergebrannt wurde. Eine kurze Blüte erlebte Hanerau nach 1664 unter Paul von Klingenberg, der wieder ein Herrenhaus baute. Die Burginsel wurde durch die Anlage des neuen Gartens in rechteckiger Form auf die heutige Größe erweiterte und erste Gestaltungen im Waldpark vorgenommen.
Schließlich gelangte Hanerau in die Hand der königlich-dänischen Regierung. 1784 wurde das Herrenhaus abgebrochen und viele Flächen des Gutsbetriebes verkauft oder verschenkt. Das Gut Hanerau behielt aber bis weit in 19. Jahrhundert Amtseigenschaft, Wasser- und Holzrechte, sowie Zoll- und Gerichtsbarkeit.
1799 übernahmen Anna und Johann Wilhelm Mannhardt die Restflächen des Gutes Hanerau vom dänischen König. Neben Land- und Forstwirtschaft betrieb Mannhardt auch eine Fabrik (für Tuche) und gründete den Ort Hanerau. Nach ihm wurde später die Dorfstraße „Mannhardtstraße“ genannt. Die markanten Gebäude auf der Gutsinsel wurden von seinem Sohn Hinrich Gysbert Mannhardt gebaut. Das Herrenhaus im neuklassizistischen Stil zwischen 1835 bis 1837 und die Scheune, in dem sich heute das Cafe’ befindet, um ca. 1860.