Im Jahre 1208 erhielten die Grafen von Schwarzburg als Pfand die bisherige Reichsstadt Saalfeld. Die Turmburg Hoher Schwarm wurde allerdings kaum als Residenz genutzt, hier saßen die Burgmannen, Mitglieder des niederen Adels, deren Aufgabe es war, für Recht und Ordnung zu sorgen. Um 1300 erfolgte der Neubau der Burg, dessen Reste die heutige Burgruine darstellen. Ende des 14. Jahrhunderts wurde Saalfeld an den Markgrafen Friedrich IV. von Meißen verkauft und die Amtshauptmänner der sächsischen Verwaltung zogen ein. Sie waren die höchsten Angestellten des Verwaltungsbezirkes und zuständig für Militär, Justiz, Finanzen und Güter.
200 Jahre später verlor die Burg ihre Funktion als Wehrbau. Der Stadtrat gelangte kurzeitig in den Besitz der ruinösen Burg. Das Dach und die stadtseitige Hälfte wurden abgebaut, um Baumaterial zur ständigen Ausbesserung der Saalebrücke zu gewinnen.
