Permis de construire

Bonjour,
nous avons acheté, avec mon mari, en 79, un terrain pour construire.
Malheureusement , le voisin le plus proche est un agent DDE, en retraite actuellement, qui voulait l'acheter plus tard .
Il a fait le nécessaire, jusqu'à maintenant, pour nous empêcher de construire.
Je vous passe les détails !
Autour de nous plusieurs propriétaires ont construit sans permis mais si nous faisons la même chose nous savons, car nous en avons été avertis, qu'il y aura des conséquences !
Nous avons 2 accès à 4m, l'eau , l'électricité et un permis pour mettre un "mazet", peut être 2 , à 20m2.
Je sais qu'il y a eu une décision en cassation qui stipule qu'un terrain avec eau, électricité, accès et une construction dessus est considéré comme constructible.
Cela pourrait , peut être , être la solution ?
Quelqu'un peut'il m'aider ?
Merci.