Der Vermieter bzw. Eigentümer darf die Wohnung des Mieters nur besichtigen, wenn es hierfür einen konkreten Grund gibt. Ein generelles Besichtigungsrecht für Vermieter existiert nicht. Der darf nach Angaben des Deutschen Mieterbundes die Wohnung des Mieters ohne dessen Einverständnis nicht betreten, und er hat auch keinen Anspruch auf einen Zweitschlüssel für die Mieterwohnung.

Ein allgemeine Überprüfung der Wohnung in Hinblick darauf, ob Instandhaltungsmaßnahmen erforderlich sind, ist allenfalls im Abstand von 2 Jahren zulässig (AG Münster 28 C 6492/99, AG Köln 219 C 430/9 .

Nach Angaben des Mieterbundes kann der Vermieter außerdem Zutritt zur Mieterwohnung verlangen, wenn notwendige Reparaturen durchgeführt werden müssen, wenn der Mieter Mängelbeseitigung fordert, wenn Messeinrichtungen wie zum Beispiel Heizkostenverteiler abgelesen werden müssen oder wenn der Vermieter das Haus bzw. die Wohnung mit Kaufinteressenten oder Mietinteressenten besichtigen will.

Bei der Vereinbarung derartiger Besichtigungstermine muss grundsätzlich auf die Berufstätigkeit des Mieters Rücksicht genommen werden. Der Besichtigungstermin darf nur zu den üblichen Zeiten angesetzt werden, es reicht aus, wenn sich der Mieter einmal in der Woche Zeit für einen Besichtigungstermin nimmt. Quelle: Deutscher Mieterbund / Mietrecht

Also, nur wenn Sie dem Vermieter grundsätzlich keine Möglichkeit zur Besichtigung geben und dadurch hat er Mieteinbusen oder kann nicht verkaufen, nur dann kann er Sie finanziell belasten und dies wiederum wird ein Richter entscheiden müssen.
Ganz besonderst wenig oder kein Recht hat der Vermieter wegen solcher Sache zu drohen oder sogar an die Kaution ran zugehen.
Dem würde ich gewaltig auf die Finger klopfen.
Die Kaution dient nur zur Schadensbegleichung, Zurückhaltung auf die Nebenkostenabrechnung und sonst nichts. Alles andere was er will muss er einklagen.

Gruß
ghost