1802 ging Holzen in den Besitz von Hohenzollern-Sigmaringen über, die Nonnen durften zunächst im Kloster bleiben. 1813 kam die Klosteranlage an die Grafen von Fischler-Treuberg, 1927 erwarb die St.-Josephs-Kongregation zu Ursberg die Gebäude.