Neuer Vermieter will Garten abreissen

Hallo

Vor kurzem hat unser Haus den Besitzer gewechselt.
Der neue Vermieter will jetzt den alten Schuppen neben
unserem Haus und den angrenzenden Garten komplett
abreissen und da (warscheinlich) ein-zwei neue Häuser bauen.
Nutzungsrecht an dem Garten hatten ursprünglich
unsere Nachbarn die in einem Haus auf dem selben Grundstück
wohnen und uns das Recht mündlich abgetreten haben.

Wie es aussieht läuft alles darauh hinaus das der Vermieter
uns aus dem Haus haben will um das auch noch abreissen zu können.

Jetzt die Frage : Darf er das einfach?
Es kann ja wohl nicht sein das er einfach den Garten den wir
schon seit Jahren benutzen zerstört.