Mietminderung wegen Schimmel

Im Oktober letzten Jahres habe ich meinen Vermieter über einen Schimmelfleck im Kinderzimmer informiert. Im November 2010 hat er sich die Sache angesehen. Danach geschieht nichts mehr. Als sich dann der Schimmel im ganzen Raum ausbreitet, habe ich ihn noch einmal angemahnt. Es geschieht wieder nichts. Ich habe jetzt seit August 20 % der Miete einbehalten. Mein Vermieter meint, dass ich das nicht dürfte, da meine Rechte verjährt wären und er mit dem Einbehalten der Miete nicht mehr rechnen musste. Hat er Recht?