Validité clause

Bonjour,
j'ai signé un compromis de vente pour une maison qui était un hangar lorsque les propriétaires l'ont acheté.
Il y a une clause faite par les anciens propriétaires qui dit que le bien devra rester exclusivement à usage de hangar mais que le propriétaire pourra y faire un bureau de 50m² et un appartement de 100m².
Le bien actuel fait 235m², je me demande si la clause est valable et si les anciens propriétaires peuvent m'attaquer si je deviens propriétaire de ce bien?