Clause suspensive pour servitude

Bonjour,
Nous sommes sur le point d’acquérir une maison à proximité d'un bâtiment agricole et nous en avions pleine conscience.
Néanmoins, sur le compromis de vente déjà signé apparait une clause suspensive de servitude que nous souhaiterions faire valoir.
En effet, au moment de la signature le bâtiment ne faisait l'objet d'aucune servitude, ce n'est que lors de la demande de certificat d'urbanisme que la SAFER nous oblige à signer une servitude de proximité avec l'agriculteur car la maison est située dans le "cordon sanitaire" de la ferme.
Peut-on se soustraire à la vente en faisant valoir cette clause suspensive de servitude?
En espérant avoir été clair je vous souhaite bonne réception