A la rue

Bonjour, voila pour faire simple je louais un logement, en ayant trouvé un autre je pose mon préavis, signe mon nouveau bail, fait le chèque de caution, date d'arrivée dans le nouvel appartement au 1er avril car il y a des travaux (peinture et lino au sol) qui devait être fini mi mars , on a convenu de la remise des clefs au 27 mars.
Et c'est depuis cette date la que c'est du grand n'importe quoi. Le 27 mars on se rend compte (le nouveau proprio et moi) que les travaux ne sont absolument pas fini ils leurs faut une bonne 15ene de jours encore. Sauf que moi je devait rendre les clef de l'autre appart au 31 mars. Mon proprio actuel ma proposé de payer un garde meuble pour mes affaires et moi de me demerder pour me loger je scoite donc le canapé de mes parents.
L'artisant a dis que les travaux seront fini le 11 avril, mon nouveau proprio me donne les clef le 16 ( vous comprenez le lundi il est en rtt et le mardi en extérieur) donc moi je peux emménager que le 18 avril.
Ma question est la suivante: je souhaitai qu'il me remette les clef le 11 avril mais il refuse car selon lui on ne peux pas au cas ou les travaux soit pas fini le vendredi, il doit faire venir une entreprise de nettoyage bla bla bla. Que dois je faire ou dire pour me faire entendre? quel sont mes droits?
En plus pour en rajouter une couche les doubles des clefs de l'ancien appartement est resté dans un meuble stocké au garde meuble, inaccessible, mon ancien proprio ma laissé quelques jours pour les lui rendre mais après le 11 je perd la caution que j'avais laissé ta 2 ans.
merci d'avance pour vos réponses.