Die Absicht, anstelle der 1588–1591 westlich des Ritterschen Palastes erbauten Michaelskapelle ein grösseres Gotteshaus zu errichten, tauchte schon in den dreissiger Jahren des 17. Jahrhunderts auf. Bis zur feierlichen Grundsteinlegung sollten noch einige Jahre verstreichen. Sie fand am 3. Dezember 1666, am «Xaveritag», dem Tag des zukünftigen Kirchenpatrons statt. 1669 stand die Kirche im Rohbau fertig und im Innern wurden die Gewölbe eingezogen. 1672 folgten die Fenster und die Dekorationen an der Hauptfassade. Als die Kirche am 29. August 1677 durch den päpstlichen Nuntius Edoardo Cibo unter grösster barocker Prachtentfaltung eingeweiht wurde, war die Innenausstattung noch nicht ganz vollendet. Noch fehlten einige Seitenaltäre und der Hochaltar, der wegen seiner hohen Kosten erst 1681 errichtet werden konnte.