Règles urbanisme et cahier des charges lotiss

Bonjour,
J'ai obtenu un permis de construire pour 2 maisons sur 2 zones constructibles d'un lot d'un lotissement régi par un cahier des charges.
Les 2 zones constructibles ont été définies dans le plan d'urbanisme.
Un coloti du lotissement a ressorti une clause du cahier des charges du lotissement datant de 1949 , semble t'il toujours en vigueur, disant qu'il ne peut y avoir qu'une maison par lot.
Cette clause du cahier des charge ne nous empêche pas d'obtenir le permis de construire qui est conforme au plan d'urbanisme. Par contre le coloti nous dit qu'il peut demander la démolition de la deuxième maison si nous la construisons.
Cette "menace" est elle réaliste et fondée? Que conseillez vous pour se protéger ?
Merci pour votre avis