Tvrz zde vznikla ve 14. století a zanikla asi v husitských válkách. V 2. polovině 16. století zde Morkovští ze Zástřizl vybudovali novou renesanční tvrz, která byla barokně upravena ještě v průběhu 17. století v zámek. Od roku 1692 patřily Svatobořice k Miloticům a zámek sloužil jen jako hospodářská budova a po určitou dobu i jako pivovar.