Dois-je m'asseoir sur mes clauses suspensives ?

BONJOUR ET AVANT TOUT MERCI DE VOTRE PRÉCIEUSE AIDE.

Voici mon soucis : 
Le 15 décembre 2015 nous avons signé un compromis de vente pour l'achat d'un terrain en vu de faire construire. 

L'agent immobilier nous indique que le vendeur(une autre agence Immo)est très pressé de vendre, donc fixe le 15 février 2016 pour la signature de l'acte authentique. Nous ne manquons pas de mettre en clauses suspensives : Obtention des prêts terrain + maison, du permis de construire accordé et de la division définitives du terrain (car division il y a...). De son côté, il ne demande pas de séquestre...

Nous trouvons, négocions et signons avec le constructeur le 18 janvier et déposons le permis le 19, qui est ... Refusé 15 jours après ! 
En effet, le constructeur a mal interprété le PLU. Resultat : Ils nous demandent de payer un surplus de 10.000E. 
Nous mettons malheureusement en stand by notre demande de prêt. Nous Refusons catégoriquement de payer et rappel de la loi et forte négociation aidant, nous re-déposons le permis le 09 mars. 

Nous tenons au courant régulièrement l'agent Immo de nos péripéties, lui même vient en mairie avec nous, il nous demande même des preuves de notre bonne foi le 14 février, veille du passage à l'acte. 
Nous lui envoyons par mail le dépôt de permis, une proposition commerciale de notre banque et une étude de sol à notre nom. Il nous répond "bien reçus" le jour même, donc ça semble lui convenir (mails que nous avons)..... 
MAIS CE QUI NOUS SAUVE c'est que de son côté, la division tarde vraiment (nous avons même un mail datant du 17 février nous indiquant qu'il vient de récupérer des papiers à faire signer aux héritiers afin d'obtenir le document d'arpentage). 

ET VOICI NOTRE 1er SOUCIS : Nous comprenons que notre vendeur n'est pas encore propriétaire  du terrain ! il semblerait, selon lui que les 3 ventes se fassent le même jour chez le notaire (notre vendeur achèterait aux héritiers puis dans la foulée nous vendrait une parcelle du terrain et l'autre à une tierce personne), que c'est courant....Ect...ect...
Le terrain nous intéresse, nous décidons de passer outre malgré que rien ne soit stipulé dans notre compromis (les héritiers sont évoqué uniquement au niveau de la provenance du bien). 

Depuis, du côté du vendeur, l'administratif semble s'être arrangé et depuis nous mettent une pression pour passer chez le notaire rapidement ! en nous trouvant "des solutions abracadabrantes" et soit disant, avec l'accord du notaire,que nous n'arrivons pas à joindre et selon la secrétaire n'aurait pas de dossier à notre nom.
Leurs solutions : 
-soit virer 55 000e(notre apport pour le prêt) sur le compte du vendeur
- soit signer l'acte de propriété et de virer 55 000e sur le compte du vendeur !

- AINSI, PENSEZ VOUS QUE JE PEUX EXIGER AU NOTAIRE UN PASSAGE À L'ACTE UNIQUEMENT LORSQUE MES CLAUSES SUSPENSIVES SERONT LEVÉES ? VOYEZ VOUS UN DÉTAIL DANS MON HISTOIRE QUI PUISSE ME PORTER PRÉJUDICE ? COMMENT PROCÉDER POUR ME COUVRIR ? 

- LES HÉRITIERS ONT-ILS LE DROIT DE RÉCUPÉRER LE TERRAIN COMME NOUS MENACE LE VENDEUR ET L'AGENT ? ET SI OUI, QUELS RECOURTS AVONS NOUS ENVERS LE VENDEUR ET/OU L'AGENT IMMO ? 

- ENFIN QUE DEVONS NOUS PENSER DE CE NOTAIRE, QUI DANS LE MEILLEUR DES CAS EST PARTICULIEREMENT ABSENT ... ET PEUT ÊTRE CONCILIENT AVEC EUX ? 

Encore une fois, je vous remercie sincèrement car nous souhaitons acheter ce terrain mais uniquement après être sûr d'avoir notre prêt et notre permis de construire. 

Bien Cordialement