Während des Nationalsozialismus in Deutschland kommt das Schloss ziemlich herunter. Es dient als Parteiquartier, Wände mit Malereinen werden einfach übergestrichen oder übertapeziert. 1945 wurde das schloss wieder restauriert und 1956 für die Öffentlichkeit zugänglich gemacht.