Das Dorf Wallersberg liegt 4,8 km Luftlinie 198,7 ° südwestlich von Weismain entfernt. Der Ort befindet sich auf einer Hochebene am östlichen Rand des Kleinziegenfelder Tals. Die Hochebene gehört zu den nördlichen Ausläufern des Frankenjuras im Naturpark Fränkische Schweiz-Veldensteiner Forst. Folgende Straßen führen in der Nähe von Wallersberg vorbei oder direkt dort hin: St 2191 und Gemeindeverbindungsstraßen.