Terrain non borné

Bonjour,

Nous avons acheté notre terrain le 14/05/2020 via gestion agence immo + constructeur.
En sept. 2019 l’agence immo avait perdu le papier du géomètre et les bornes étaient arrachées. Nous avons attendu 4mois ce doc car selon le constructeur il n’était pas possible de demander le permis de construire sans celui-ci et s’il fallait faire un nouveau bornage c’était aux frais du vendeur.
01/2020 l’agence immo et le constructeur retrouvent le papier et nous disent que tout est ok. Nous avons donc signé la vente courant mai chez notre notaire et les travaux de la maison commencent la semaine prochaine (mi juin).
Sauf que nous venons de recevoir un mail du géomètre qui a fait les bornes pour l’implantation de la maison et il nous informe qu’il est risqué d'implanter la maison sans bornes... Il nous recommande donc de faire borner le terrain.
Quelle surprise pour nous puisque nous avons signé pour un terrain borné !
Le constructeur fait comme s’il n’était pas au courant pour cette histoire de bornes et de document géomètre, il dit qu’il n’est pas inquiet que ce n’est pas à nous de payer mais à l’ancien propriétaire, que ça n’empêche pas les travaux.
Je doute fort que l’ancien propriétaire accepte de payer puisque légalement le terrain ne lui appartient plus !
Est il dans l’obligation de payer ? Avons nous un recours ?

Je vous remercie par avance pour vos réponses !