Vente terrain à un promoteur

Bonjour,

Un promoteur m'a fait signer une promesse d'achat de mon terrain avec maison, afin d'y construire un immeuble (350000 euros pour 500 m2 avec maison de 80 m2). Il m'a précisé qu'il n'y avait aucun engagement et que je pouvais réfléchir... mais ce n'est pas marqué sur la promesse.
Une semaine après, un autre promoteur vient me voir en me proposant 500000 euros pour mon terrain + maison (je précise aussi que les promoteurs ont acheté les terrains avoisinant). J'avertis le premier (puisqu'il m'a dit qu'il n'y avait pas d'engagement) que je ne donne pas suite à son prix, le deuxième promoteur m'offrant plus. Je pense donc signer définitivement avec le deuxième.
Le premier promoteur ne l'entend pas ainsi et me menace en justice.
Que faire. Puis-je me rétracter par rapport au premier?
Une autre précision, je n'ai rien demandé. Ce sont les promoteurs qui sont venus me voir...
Merci pour vos réponses en espérant avoir été assez clairs.