Aidez moi!! je comprend rien!

Bonjour,
alors j'explique ma situation qui je pense est bien compliqué (pour moi elle est en tout les cas!), mes parents sont décédés tous les 2, ma mère en dernier cela va faire maintenant 2 ans.
j'ai 2 petites soeurs avec lesquelles nous avons hérité de la maison, je me suis installé dans celle ci avec mon ami et ma fille cela va faire 1 an, je voulais l'acheter à mes soeurs qui était daccord, mais j'ai été me renseigner à la mairie et on m'a dit que je n'avais pas le droit de détruire la maison existante pour en construire une autre sur les mêmes fondations car c'est un terrain 100% agricole, je ne veux du coup plus rester dans la maison qui ne me plait pas comme elle est (trop de souvenirs, c'est la maison de mon enfance), je veux donc essayer de la vendre mais on m'a dit qu'elle serait invendable car elle n'as pas de permis de construire car c'est une maison en préfabriqué!!
si quelqu'un pouvait m'aider et me renseigner car c'est une histoire qui me bouffe la vie et nuit vraiment à mon couple et je voudrais absolument m'en soulager!!
MERCI!!