Annulation vente terrain constructible

Bonjour,

Il y a plusieurs mois de cela, j'ai signé un compromettre de vente avec un agent immobilier pour un terrain constructible.

Dès lors, j'ai entrepris des démarches auprès d'un constructeur et d'un courtier.

Avec les augmentations actuelles des matériaux , les premiers plans ont mis beaucoup de temps à arriver puisque le constructeur avait du mal à obtenir des chiffrages. Il a même envoyé les plans ailleurs pour obtenir le chiffrage plus rapidement.

J'ai effectué des modifications sur les premiers plans ce qui a entraîné une nouvelle demande de chiffrage. 

Mais voilà, entre temps j'ai eu un accident. Je suis donc en arrêt pour une durée indéterminée et mon projet tombe à l'eau car après avis auprès de mon courtier, aucune banque n'est prête à assurer quelqu'un qui est en arrêt. 

J'en ai donc immédiatement informé l'agent immobilier puisque je n'avais pas d'autre choix que d'annuler la vente.

Le soucis est que celui ci est très remonté, il semble douter de la véracité de mes propos et même du fait que j'ai réellement entamé des projets pour le terrain. 

Il trouve que tout cela a pris beaucoup trop de temps alors que justement, au début lorsque je trouvais également que c'était très long, je l'ai appelé et il m'a assuré de ne pas m'inquiéter car actuelles tout est hors délais.

Il me dit que du coup les conditions suspensives ne sont pas respectées (celles ci étaient l'obtention du prêt et du permis de construire, avec preuve que j'ai effectués les démarches) 

Il me dit donc qu'il est en droit de demander de verser une somme pour non respects des conditions suspensives, effectivement cela était écrit dans le compromis.

Je me demande donc si il est vraiment dans son droit ou pas , car même si j'ai été constamment en relation avec le courtier et l'agent immobilier je n'ai pas pu demander de permis de construire ni de prêt auprès des banques puisque les plans n'étaient pas prêts.

Quels sont mes droits et mes recours actuellement ? 

Cette situation est vraiment regrettable car j'annule vraiment cette vente avec contre coeur, cela n'est pas un choix de ma part, je subit moi même tout cela ...