Chemin en indivision et limite de propriété

Bonjour,
Je viens d'acheter un terrain et ai rencontrer le conducteur de travaux ce matin.
Nous avons un dilemme car celui-ci me dit que je ne peux mettre ma maison en limite de propriété !!
En effet nous voulions mettre la maison en limite de propriété par le garage et la maison à un mètre en retrait par rapport au chemin privé mais le constructeur me dit que ce n'est pas possible.
Nous sommes dans un chemin privé en indivision pour 4 parcelles n'appartenant pas à la commune mais aux quatre maisons actuelles, moi et les trois voisins.
Sur le reglement de zone il est spécifié que je ne dois pas avoir d'ouverture à moins de 4 mètre sur une voie public mais il ne s'agit pas d'une pas d'une voie public.
La maison aura en limite de propriété du chemin privé, la porte du garage et en retrait d'un mètre une fenêtre, et une porte fenêtre toutes équipées en volet roulant.
Pouvez-vous m'éclairer ?
D"avance merci cordialement.
Jonathan.