Recours permis de construire lotissement

Bonjour,
Propriétaire d'une résidence secondaire dans un petit village du Val de Loire, notre cadre de vie est actuellement naturel malgré notre proximité du centre bourg.
La commune de moins de 1000 habitants a malgré tout été défiguré par des projets disgracieux mais lucratifs en sortie de village suite a un mandat municipal désastreux.
La nouvelle équipe municipale en place ne peut que constater les dégâts pour certains projets trop engagés.
Entre autre projet, information donné par le nouveau maire, la construction d'un lotissement de 6 logements sociaux au bout de notre jardin sur une parcelle de 2500m². La mairie se dit impuissante face aux engagements pris auprès de l'office HLM (rétrocession du terrain).
Je voulais savoir qu'elle possibilité nous avions d'empêcher ce projet d'aboutir.
Sachant que deux logement sociaux ont déjà été construits dans le centre du village qui en compte à présent 5.
Pour information, je ne suis pas forcément contre la création de logements sociaux mais contre la densification au mètre carré là où cela ne se justifie pas. Nous avons de l'espace et un cadre à préserver dans la région touristique des châteaux de la Loire.
Merci d'avance pour vos précieuses réponses.