Faire passer terrain non constructible à cons

Bonjour,
Je viens de signer avec mon ami pour le terrain de nos rêves (8700m2 de bois). Nous souhaitons dans le temps y construire notre maison. Le problème est que ce terrain est classé zone N3 : zone naturelle constructible pour les collectivité territoriales. Nous ne sommes pas une collectivité donc comment peut on faire pour faire passer une toute petite partie de ce terrain pour pouvoir y poser notre maison? Est-ce que quelqu'un sait si cela est possible pour une zone N3? Car je ne trouve pas ça normal que l'on nous dise oui si nous voulons y faire un resto ou un camping mauis si c'est pour notre maison cela pose problème. Merci à ce qui prendrons un peut de temps pour me renseigner.