Seit 1540 ist der Konventbau Sitz der Paritätischen Spitalstiftung Heiliggeist der Stadt Augsburg mit einem Altenheim. Die ehemalige Klosterkirche wurde 1594 durch einen Neubau ersetzt (Umbau 1720) und wird bis heute von den katholischen Bewohnern des Altenheims genutzt. Erst 1631 erhielten die evangelischen Spitalinsassen eine eigene Kirche. In diesem von Elias Holl errichteten Bau befindet sich seit 1948 die "Augsburger Puppenkiste".