Litige géomètre et modification de permis d'aménager

Bonjour à tous,
Je vends un terrain (division de parcelle de ma résidence principale) et je suis dans le secteur d'un bâtiment historique, ce qui m'oblige à obtenir un permis d'aménager puis de viabiliser le terrain avant la vente definitive.
Je suis donc passée par un géomètre qui m'à raconté beaucoup de bêtises (notamment sur le coût de la viabilisation, ce qui selon lui m'aurait coûté 7000e alors que j'en suis à plus de 13000e. Si j'avais eu ces informations dutiles départ j'aurais sûrement renoncer à la division). Du coup je suis en litige avec lui. J'ai vraiment traîné pour le payer car je suis très mécontente de ses services. Bref aujourd'hui je dois modifier ce permis (j'ai obtenu le permis d'aménager) car j'ai des acquéreurs qui ont vu avec leur architecte, et la maison qu'ils veulent construire ne rentre pas sur le terrain avec cette contrainte (le geometre à fait décaler la possibilité de construire de 3 mètres pour que je puisse accéder à ma toiture qui dépasse chez les acquéreurs).
Pour faire cette modification, étant donné que les plans lui appartiennent, je dois soit passer par lui soit obtenir de sa part son accord pour qu'un autre geometre fasse la demande de modification à partir de ses plans. Il refuse les 2 possibilités. A t-il le droit de refuser ? Ais je un recours à part tout recommencer du début ?
Merci d'avance