Refus terrains à bâtir

Bonjour,

Mon frère possède 2 terrains côte à côte qu'il souhaiterait vendre depuis déjà longtemps. Il a décidé de s'en occuper plus sérieusement car il est jeune viticulteur et en difficultés financières. Il s'agit de 2 terrains proches d'un hameau dans un village, où 2 maisons trouveraient très bien leur place. La preuve, il avait 2 acquéreurs très intéressés par le projet mais qui, à force d'attendre l'autorisation de bâtir, ont fini par trouver ailleurs. Soit disant que le PLU n'était pas encore fait. Maintenant, on apprend que la zone est agricole et que ces terrains n'entrent pas dans la zone urbanisée. Nous pensons que des personnes bien placées ne sont pas pour rien dans cette décision.
Du coup, je me demandais si l'on peut refuser à un membre de la famille de faire construire sur ces terrains.

Merci pour votre réponse. Cordialement.