ware seit über einem jahr auf rückzahlung der kaution

am 15.12.02 bin ich aus der wohnung ausgezogen.die abnahme wurde vom hausverwalter gemacht, da der vermieter 200 km weit weg wohnt. es wurde weder telefonisch noch schriftlich irgendetwas beanstandet. die wohnung ist seit über einem halben jahr wieder neu vermietet. mein ehemaliger vermieter hat mir telefonisch im juli 2003 zugesichert, dass er mir die abrechnung und kaution fertig macht. seit dem habe ich nichts mehr von ihm gehört (ich habe ihm aber 1 x per e-mail daran erinnert und am ende des letzten jahres noch eine sms geschrieben).da wir eigentlich ein sehr gutes verhältnis zu einander hatten (der vermieter bewohnte die wohnung selbst bevor wir eingezogen sind),habe ich mich nicht getraut irgenwelche rechtlichen schritte einzuleiten. blöderweise habe ich auch noch meine rechtsschutzversicherung gekündigt. wie kann ich nun vorgehen, ohne dass er mir schwierigkeiten macht und ich am ende zahlen muss??