Das ursprüngliche Schloss wurde vermutlich im Mittelalter als Burg errichtet. Im 30-jährigen Krieg wurde die gesamte Anlage durch Überfälle der Kronacher arg in Mitleidenschaft gezogen. Erst unter Johann Ludwig von Würtzburg, der aus dem Unteren Schloss (Wasserschloss) ausziehen musste, weil er Streit mit seinen Brüdern hatte, konnte die Wiederherstellung des Herrenhauses in Angriff genommen werden. Es erhielt seine heutige Form in den Jahren um 1713.
Um 1878 erfolgten auf Geheiß des Freiherren Ludwig von Würtzburg, der hier auch vorübergehend mit seiner griechischen Gemahlin Regina wohnte, An- und Ausbauten. Zuletzt diente das im italienischen Villenstil errichtete Obere Schloss als Sommerresidenz für die Familie von Cramer-Klett. Die Baronessen Regina und Anne-Marie von Cramer-Klett liegen im Schlosspark neben der Grabkkapelle, die für Baron Edmund von Würtzburg errichtet wurde, begraben. Für die Öffentlichkeit sind das Obere Schloss, der dazugehörige Schlosspark und die letzten Ruhestätten der Adligen nicht zugänglich. Das Schloss befindet sich auch heute noch im Privatbesitz der Familie von Cramer-Klett.
