COS terrain contesté

Bonjour,
J'ai acheté un terrain sensé être hors lotissement (confirmé par l'agence immo, le notaire, le vendeur).
J'ai déposé ma demande de permis de construire et là surprise, la mairie stoppe mon projet et me dit que la parcelle achetée pourrait faire partie d'un lotissement dans la mesure où le vendeur posséde également 3 autres parcelles jouxtant celle que je lui ai achetée. La mairie considère que mon terrain provient de la division de cette unité foncière donc cela constituerait un lotissement. Elle se réfère au PLU mais qui pour moi, n'est pas clair.
Si mon terrain est effectivement considéré comme faisant partie d'un lotissement, les règles de construction changent et sont plus restrictives. Mais le plus grave, c'est que ma surface constructible (initialement 150m2) peut être nettement réduite : il y aurait un COS pour la totalité de l'unité foncière donc les 3 autres parcelles ayant déjà des bâtiments construits, il ne me resterait que des "miettes" à confirmer par la mairie.
Bref, j'ai acheté en toute bonne foi un terrain hors lotissement avec un COS qui permettait de construire 150m2 (certificat d'urbanisme informatif) et là, je risque de me retrouver avec un terrain quasi inutilisable pour mon projet immobilier.
- Que puis-je faire ?
- Quelqu'un a-t-il déjà été confronté à un tel problème ?
- D'après vous, mon terrain fait-il partie d'un lotissement ?
D'avance merci pour votre aide.