Clause suspensive d'un compromis de vente

Bonjour,
Je suis en train d'acheter une maison. Sur la terrasse de cette maison, il y a une porte qui appartient à un voisin et qui communique sur le terrasse de la maison que je souhaite acheter. Lors de la visite, l'agent immobilier m'a dit que derrière la porte il y avait un mur et que je pouvais enlever cette porte sans aucun problème. J'ai fait une proposition d'achat qui a été acceptée.
Lors d'une nouvelle visite, je me suis rendue compte, qu'en fait, derrière cette porte, il y avait un couloir qui mène à une autre maison et absolument pas un mur !!! Aussi lors de la signature du compromis, j'ai fait rajouter une clause suspensive indiquant que cette porte devait être enlevée et l'accès complètement bouché (puisqu'il n'existe aucune servitude de passage). Le compromis a ensuite été envoyé aux propriétaires qui n'habitent pas en France. Le compromis vient d'être renvoyé avec la signature de toutes les parties.
Seulement, l'agent immobilier vient de m'informer que j'allais avoir une autorisation écrite du propriétaire d'à côté pour condamner cette porte.
Le problème qui se pose est donc le suivant : la porte ne sera pas condamnée lors de la signature définitive et je n'aurai qu'une autorisation écrite pour le faire. Puis-je demander le paiement des travaux aux vendeurs pour boucher cette porte (puisqu'ils ont bien signé le compromis avec la clause) afin de ne pas annuler la vente ? Quels sont mes recours sachant qu'il n'y a plus de possibilité de négociation du prix d'achat maintenant ?
Je vous remercie par avance pour votre réponse.
Bien cordialement.