Element permis de construire validé mais non souhaité

Bonjour,

Nous avons acheté un terrain sur lequel nous avons fait construire notre maison sur plan.

Lors de la validation de la position de la maison sur le terrain, le constructeur nous informait que la maison de part ses dimensions devait obligatoirement être collé à l'un des côtés gauche ou droite du terrain selon une demande de la mairie.

Avoir une maison mitoyenne ne correspondant pas à nos souhaits nous avions demandé si il était possible de mettre une charretterie entre la limitation droite et notre maison d'une lageur de 1m30 et faisant la longueur de notre maison était possible.
Le permis de construire avec la position de la maison et la charreterie collé au coté droit du terrain fut validée.

La maison est maintenant construite depuis 1 an, il nous reste un an vis a vis du permis de construire pour mettre en place la charreterie, cependant, le cout des travaux restants ayant pas mal diminués notre budget, nous nous demandions si la construction de la charreterie était obligatoire ? que risquons nous si nous n'entreprenons pas au final sa construction (bien que nous ayons commencé à bétonné son emplacement).

De ce que j'ai pu lire sur divers forum, rien ne nous oblige à construire ce que nous avons demandé dans un permis de construire, on en perd le droit au bout de 2 ans, cependant dans notre cas, cette charreterie était la condition qui validait le fait que notre maison ne soit pas collé à l'un des côté de notre terrain... est-ce problématique ?

En vous remerciant de vos réponses.

Bien cordialement,