Vater des Vermieters steigt mir nach

Ich lebe in einem 2-Familienhaus, unten die Eltern meines Vermieter, oben ich. Die Wohnungstüren sind jezweis nur mit Türschnalle, d.h. absperren, wenn man aus dem Haus geht. Die alten Leutchen hier haben mir noch nie was getan, daher dachte ich mir gestern abend nichts, die Tür nur zu zuziehen, als ich für 3Minuten weg war, Kippen holen. Ich komme wieder, meine Tür steht auf, es brennt Licht, und siehe da, der besagte Vater kommt aus meinem Bad!!! ER konnte mir nicht erklären, was er da suchte, und ich warf ihn raus. Nun ja, er ist zur Zeit sehr nervig, klingelt ständig, will zu mir zum tratschen kommen, usw...Bisher wollte ich nicht unfreundlich sein, aber jetzt gehts tatsächlich zu weit!! Was kann ich denn da machen ? Soll ich direkt mit seinem Sohn, also meinem Vermieter sprechen? Im Moment fühl ich mich nicht mehr wirklich wohl hier.