Der Weiler Zilgendorf liegt 7,7 km Luftlinie 340,1 ° nordwestlich von Bad Staffelstein entfernt. Der Weiler liegt im Norden eines lang gezogenen Dreiecks zwischen Bad Staffelstein, Itz und Main. Der Ort befindet sich nordwestlich am Fuß des Berges Kulch. Östlich verläuft die ICE-Strecke Nürnberg–Erfurt. Die Kreisstraße von Altenbanz kommend führt durch den Ort. Folgende Straßen führen in der Nähe von Zilgendorf vorbei oder direkt dort hin: LIF 1 und Gemeindeverbindungsstraßen.