Gartennnutzung für neuen Mieter

Wir wohnen in Drei-Parteien Haus und ins unserem Mietvertrag ist Gartennutzung explizit geregelt: "Gartennutzung zusammen mit Erdgeschoss". Nun bekommen wir einen neuen Mieter für die freiwerdende dritte Wohnung im Dachgeschoss (bisheriger Mieter hatte keine Gartennutzung), dem der Vermieter das Gartennutzungsrecht ebenfalls einräumen will.

Da der Garten aber von uns und der anderen Partei nahezu komplett neu angelegt wurde (ohne finanzielle Zuwendung des Vermieters im übrigen) und da der Garten auch eher klein ist, möchten wir jedoch dem neuen Mieter keine generelle Gartennutzung einräumen lassen. Im Einzelfall kann er natürlich - aber eben nur mit unserem Einverständnis - auch gerne mal den Garten benutzen .

Nun aber meine Frage: Kann der Vermieter der neuen Partei einfach
Gartennutzungsrecht einräumen ohne unser Einverständnis bzw. Änderung des Mietvertrages und wenn ja, können wir dann ggf. Mietminderung verlangen, da die Gartennutzung nur noch vermindert möglich wäre, wenn plötzlich drei, statt bisher nur zwei Parteien den Garten benutzen dürfen.
Wer kann mir dazu ein paar Infos geben? 1000 Dank vorab!