Jährl. Nebenkostenabrechnung: Wie lange im Nachhinein?

Hallo. Ich habe mal eine Frage.
Ich habe 2002 (zum 01. August) meine erste Wohnung gemietet. Mein Vermieter (der mit dem Mietrecht sicherlich vertraut ist, da die Wohnungen seine Haupteinnahmequelle sind) hat schon damals versucht, den Umstand meiner Unwissenheit für seine Zwecke auszunutzen (wollte 3x Warm- statt Kaltmiete als Kaution).
Nun erfuhr ich, dass mir jedes Jahr eine Nebenkostenabrechnung zusteht und ich - sollte ich zuviel gezahlt haben - auch eine Rückzahlung erhalten müsste. In der Zeit, in der ich hier wohne, erhielt ich keine Rückzahlung, geschweige denn eine Abrechnung. Da er auch nie Geld diesbezüglich einforderte, gehe ich stark davon aus, dass ich nicht zuwenig bezahlt habe, sondern eher zuviel.
Nun meine Frage: Für wie lange kann ich die Mietkaution im Nachhinein zurückverlangen? Auf welche Paragraphen müsste ich mich diesbezüglich beziehen?
Vielen Dank im Voraus,
Stephan Becker.