Cahier des charges de 1955 du lotissement

Bonjour,
J’ai acheté un terrain il y’a 8 ans sur une division parcellaire dans un vieux lotissement pour construire .
Sachant que sur le terrain initial est implanté une maison.
Ce terrain a un cahier des charges datant de 1955 interdisant de construire deux habitions sur le même terrain .
Hors lors de l’achat ce cahier des charges n’a pas été évoqué chez le notaire ...
Tout c’est déroulé dans les règles
-Négociation et achat par le même notaire
-Terrain divisé par un géomètre et clôturé par un grillage
-Pré autorisation de permis de construire
J’ai obtenu un permis de construire supervisé par les bâtiments de France qui a été affiché 2 mois avant de poser la première pierre en attendant d’éventuelles recours ‘!!!
Hors aujourd’hui un autre notaire vend une parcelle à côté de chez moi
Présentant le même cas de figure .
C’est alors que celui ci me demande de signer la modification du cahier des charges qui interdit de construire 2 maisons sur le même terrain .
Ou me menace de faire démolir ma maison ainsi qu’une une autre construite
Au même moment sur le terrain voisin .
merci d'avance pour vos réponses