Im Jahre 1185 überließ die Markgraf den frommen Brü-dern seine Stammburg, doch bereits um 1195 zogen die Mönche ins Tal herab und begannen einen Neubau an der Stelle des heutigen Klosters.

Nach einem Jahrhundert des Erblühens der Abtei folgten schwere Zeiten durch Mißernten, Hungersnot, Kriegs-nöte, Belagerungen und Verschwendung. Doch durch den Einsatz der Burgherrin und Vögtin von Kemnath, Maria von Ellenbach gelang die Sanierungdes Klosters.