Anulation contrat constructeur après 7 jours

Bonjour,

Nous voulions faire construire une maison neuve sur la commune ou nous sommes actuellement en installés en location.

Nous avons contacté un constructeur qui nous a dit que ne n'était pas possible vu que les terrain sont trop couteux pour notre budget. Celui-ci nous a alors orienté vers une autre commune ou il avait possibilité d'avoir un terrain.

Ayant peur de se retrouver sans rien et avec un peu de pression de sa part (car nous lui avons demandé à plusieurs reprise de chercher sur la commune qu'on souhaitait), nous avons fait une proposition d'achat au propriétaire actuelle du terrain (sans aucun passage devant notaire) puis nous avons signé des plans et un contrat de construction (qu'il nous a ensuite envoyé en RAR donc délais de 7 jours passé...).

Entre temps un autre constructeur nous a trouvé un terrain sur la commune souhaité et nous souhaitons annulé le contrat avec le 1er constructeur (sachant que on n a même pas fait de pret pour la banque, ni signé de terrain, ni permis de construire).

Le nouveau constructeur nous dit que oui mais que le 1er constructeur risque de nous menacer ou nous demander des frais de dédommagement pour nous faire peur

Comment faire peut-on annuler sans devoir payer des frais ou se retrouver au tribunal ????
peut-on faire un courrier et sur quels textes s'appuyer ????

Merci de votre aide