Clauses pénales sur retard compromis de vente

Bonjour,
J'ai signé un compromis de vente en septembre 2009 pour l'achat d'un terrain sur lequel j'avais contractualisé avec un constructeur un projet de maison individuel (c'est un projet en vallon division, 4 maisons, 4 acquéreurs pour un seul permis).
Le 7 mai 2010, aujourd'hui, le permis n'a toujours pas été déposé pour des raisons de bornage de terrains et de remplacement d'un acquéreur). Le vendeur par la voie du notaire, me faire part de sa possibilité d'exiger le versement des clauses pénales, si le délai du 25 mai 2010 pour l'accord du permis de construire n'était pas respecté.
Suis-je responsable directement ou pourrais je me retourner envers mon constructeur si le vendeur exige les clauses de pénalités. Dois-je envoyer des courriers pour me couvrir et faire part de ma bonne fois? Merci pour vos réponses.