Altercation avec agence immobiliere pour demarrage travaux avant signature

Bonjour ,
j ai signé un compromis de vente pour l achat d un studio par l intermediaire d une agence immo en debut juillet
mon pret a été accordé avec les offres en debut septembre
en fin aout je passe a l agence en signalant que je souhaiterai monter au studio afin que le metreur pour mes travaux prenne quelque mesures
le pere du directeur qui travaille dans l agence me donne les clés( car le studio est a proximité de l agence) et me dis d y aller et de les ramener ensuite
lorsque le metreur est parti , j ai voulu ramener les clés mais l agence etait fermée
j appele donc l agent immobilier qui a traité mon dossier depuis le debut car je n avais que ses coordonnées mais elle etait en congé , et me dis textuellement "on est a 15 jours de la signature definitive ,la proprietaire ne reviendra plus dans le studio , donc gardez les clés et commencez vos travaux tranquillement"
bon , surpris mais je me suis dis ok si elle me le dis je le fais
je commence donc quelques petits travaux et tout a coup au bout de quelques jours le directeur m appele en me disant mechamment que je devais ramené les clés , car je n avais pas le droit de les avoir et de commencer les travaux ect....je lui explique donc que c est son agent qui m avais dis de les garder et de commencer les travaux mais cette derniere a tout nié en bloc par peur de represailles
le probleme c est qu au moment ou il m a contacté j etais parti quelque jours je lui ai donc dis que je lui ramené des que je rentrais
5 jours apres je rentre et je lui ramene les clés a l agence en disant que j avais été induit en erreur et en me plaignant de leur comportement et en particulier de celui de l agent qui a menti
le pere du directeur(celui qui m avais remis les clés en main a la base) surgis pour me frapper comme un histerique et me profere des menaces de me faire frapper par des connaissances de cités a lui
je suis donc allé faire une main courante au comissairiat
en sortant du commissairiat je croise l agent immobilier qui avais menti en lui demandant pourquoi il avais fait ca et me repond que comme il attendait le paiement de 4 ventes par son directeur il avais peur de pas etre payé dans les delais si il y avais des histoires (une vrai saleté car elle m a tout mis sur le dos)
lorsque j ai souhaitais parlé avec le directeur de cela et des menaces de son pere il a refusé en me disant nous nous verrons chez le notaire
a savoir que j ai informé le notaire evidemment de tout les faits , mais je n ai pas encore eu de reponse car il etait absent
je ne souhaite evidemment pas que l agence soit present a la signature et je ne souhaite pas que leur commission leur soit versé tant que je n aurai pas vu l appartement mais apres la signature car ils ont un jeu de clés et vu le comportement de voyoux qu ils ont je m en mefie
ma question est donc de savoir compte tenu de tout cela quels sont les risques pour moi ?sachant que je signe dans 9 jours ,est ce que je risque d etre embeté pour avoir commencé les travaux ?( malgres que c est l agent qui me l avais dis , puis je n ai pas volé les clés pour preuve , c est eux qui me les ont donné....)
merci par avance pour vos reponses