In der Niedermünsterkirche (Niedermünstergasse) ist seit 1825 die bischöfliche Verwaltung untergebracht. Im Keller können Überreste von Vorgängerbauten und Ausgrabungen von römischen Gebäuden besichtigt werden Unter dem Bereich der Niedermünsterkirche befinden sich drei ältere archäologische Schichten. Die ältesten Baureste an der Stelle der Niedermünsterkirche datieren bis in die Römerzeit zurück. Darüber wurde um 700 eine erste Kirche errichtet, über dieser entstand um 800 eine Stiftskirche. Der heutige Kirchenbau ist aus der Mitte des 12. Jahrhunderts.