Nachdem die Stollburg als Sitz des Würzburger Amtmannes im Bauernkrieg 1525 zerstört wurde, kaufte Fürstbischof Julius Echter im Jahre 1575 das bestehende Schlossgut der Truchsesse von Henneberg und gab den Umbau zum neuen Amtshaus in Auftrag.

Wie aktuelle Untersuchungen belegen, bestand die Außenschale des Schlosses bereits vor 1600.

Rechnungen aus dem Jahre 1604 belegen die aufwendigen Umbauarbeiten, durch die das Gebäude sein markantes Äußeres erhalten hat. Auch die Turmstiege im Innenhof stammt aus dieser Zeit.

Zum Abschluss der Arbeiten ließ Echter anläßlich seines 40-jährigen Bischofsjubiläums im Jahre 1614 am rundbogigen Hauptportal sein Wappen anbringen und eine Inschrifttafel in Sandstein fertigen, dass er dieses Amtshaus erbaut habe.

Im Inneren wurde das Schloss mehrmals umgebaut. Um 1720 wurde die Raumaufteilung verändert und Decken und Türen neu gestaltet.

In seiner bewegten Geschichte war das Schloss auch Sitz der örtlichen Gendarmerie, des Revierförsters und diente ab 1812 als Wohnung des Ortspfarrers.

Zum Anwesen gehören neben dem dreigeschossigen Renaissanceschloss ein Innenhof mit mächtiger Scheune, Wirtschaftsgebäuden und mauergeschützten Gartenanlagen. Die Gesamtanlage ist noch weitgehend im Originalzustand erhalten und steht unter Denkmalschutz.

Im Jahre 1972 kaufte die Katholische Kirchenstiftung Oberschwarzach das Anwesen vom Freistaat Bayern.

Im Jahr 2017 schloss die katholische Kirchenstiftung Oberschwarzach mit der Markt-gemeinde Oberschwarzach einen Erbbaurechtsvertrag durch den der Markt Ober-schwarzach für die nächsten 99 Jahre "Schlossherr" wurde.