mündliche Zusage über Gartennutzung

Hallo Leute
habe folgendes Problem: bei unserem Einzug vor 4 Jahren sagte uns der Vermieter, dass der Garten nur zu unserer Wohnung (Erdgeschoss) gehört. Das wurde uns von ihm dann auch noch mal mündlich bestätigt, als der Mieter im 1. Stock wechselte. Allerdings ist dies so nicht im Mietvertrag festgehalten (dumm, ich weiß). Dort wird nur die Terasse erwähnt. In der Zwischenzeit hat der Vermieter den Dachboden ausboden lassen und seine Tochter ist dort eingezogen. Letzten Sommer nutzten sie und ihr Freund ohne Vorwarnung den Garten einfach mit und heute teilte mir unser Vermieter mit, dass dieser zukünftig vom ganzen Haus genutzt werden würde und auch für Parties zur Verfügung steht. Ich bin echt auf 180, weil dann fremde Leute mehr oder weniger ständig vor meinem Wohnzimmer rumsitzen und mir auf den Teller gucken können. Wir fühlen uns in unserer Intimsphäre empfindlich verletzt und ich frage mich nun, ob ich auch ohne etwas Schriftliches irgendeine Handhabe dagegen habe. Und wenn jemand wenigstens etwas weiß, womit ich dieses Nutzungsrecht einschränken kann, wäre ich echt dankbar!