In Dudeldorf befand sich eine Burg der Herren von Dudeldorf, auf die in Urkunden hingewiesen wird. Die neue Burg wurde von Anselm v. Dudeldorf errichtet und fiel im 17. Jahrhundert an das Adelsgeschlecht Braun v. Schmidtburg. Der erhaltene dreigeschossige Winkelbau stammt aus dem Jahr 1735. Der ältere quadratische Wohnturm und Mauerreste sind Relikte der mittelalterlichen Burganlage.

Der Westflügel ist seit 2001 im Besitz zweier Familien, die die Burg kulturell nutzbar machen wollen, der Turm und der Ostflügel ist Gemeindeeigentum und seit längerer Zeit leerstehend. Die Gemeinde hat diesen Teil der Burg für dieses Kunstprojekt STEPHANundVERENA als Wohnatelier und Veranstaltungsort zur Verfügung gestellt.