Problème implantation maison sur terrain

Bonjour,

Je suis en train d'acheter une maison et un terrain via un pavillonneur, nous avons signé les compromis, commencé les demarches pour le prêt bancaire et étions en attente de la suite des papiers (permis de construire).

En recevant le permis de construire ce week-end, j'ai été surpris de voir que sur les plans ma maison était jumelée, or nous avons signé pour une construction individuelle il n'a jamais, à aucun moment été question de maison jumelée.

J'ai donc telephone à mon pavillonneur pour avoir des explications, il m'a alors expliqué que notre terrain faisait 16m80 de large, et notre maison 12m. D'après lui, la loi oblige à avoir 3m de chaque coté de la maison sinon il faut coller la maison d'un coté du terrain --> Ce qui était prévu mais dont il avait "oublié" de nous parler. Il procède toujours de la sorte, mais colle toujours ses pavillons à droite, sur tous les terrains pour ne pas avoir de maison jumelée. Il s'agit donc pour lui, d'une simple erreur sur le permis de construire, notre maison est dessiné du mauvais côté, ou alors c'est la maison du terrain adjacent au notre qui est mal dessiné sur le plan, il va voir pour faire modifier le permis.

Aujourd'hui, il m'envoie un message pour me signaler que le terrain à droite du mien n'est pas à lui et que l'autre pavilloneur n'a pas fait "comme convenu". J'ai donc une maison collé à droite sur la droite de mon terrain, et une maison collé à gauche sur la gauche de mon terrain. Je suis moi même aller verifier sur place, et il est exact que tous les pavillons déjà construit ou en construction sont à droite, sauf celui à côté de mon terrain.

Que puis-je faire, sachant que je ne souhaite pas une maison jumelée et que nous avons signé le compromis pour une maison individuelle ?

Merci d'avance pour votre aide,
Bonne journée.