Eigenbedarfskündigung wg. Schwangerschaft

Hallo zusammen,
wir haben ein 2-Familienhaus (oben wohnen wir, unten ist vermietet) und möchten nun auf Eingebedarf kündigen, da wir das 2e Kind erwarten und uns die Wohnung oben zu klein wird (ca. 85 m²). Wir möchten aus dem noch getrennten Haus ein ganzes machen (erheblich Umbaumassnahmen). Unsere Mieter wohnen seit 1.2.2004 in der Wohnung und haben 2 kleine Kinder. Wir würden die gesetzliche Frist von 3 Monaten selbstverständlich einhalten. In dem Mietvertrag hatte mein Mann bereits folgende Klausel reingeschrieben: "der Vermieter behält sich das Recht vor nach ca. 2 1/2 Jahren aus Gründen des Eingebedarfs zu kündigen" nun ist dieser Fall jedoch früher eingetreten. Wir haben beim Einzug bereits mit den Mietern vereinbart, dass sie die Wohnung nicht zu renovieren brauchen wg. der anstehenden Umbaumassnahmen.
Worauf müssen wir achten? Was für Probleme können auf uns zukommen? Können die Mieter sich weigern auszuziehen? Wie kann man sich einigen. Uns liegt nicht daran, diesen Menschen das Leben schwer zu machen, doch wir brauchen den Platz wirklich und möchten möglichst mit dem Umbau fertig sein bevor das Baby zur Welt kommt (02/2006) ...
Vielen Dank im voraus!!