Rétractation avant promesse de vente

Bonjour,

Mon compagnon et moi-même étions vivement intéressé par un bien immobilier. Nous nous sommes mis d'accord avec le vendeur sur un prix et avons contacté une notaire pour gérer le dossier. Le vendeur avait déjà le sien.

Cependant, nous nous sommes finalement désister AVANT la signature de la promesse de vente. Nous n'avons donc signé aucun document.

Le vendeur nous informe qu'il a déjà engagé des frais auprès de son notaire ("entre autres le prêt est adapté" selon ses dires), frais qui était censé être de notre ressort et il aimerait que l'on s'arrange. 

Cependant, étant donné que nous n'avons rien signé, devons nous quand même payer les frais de leur notaire ? Notre notaire ne nous a pour le moment rien demandé mais peut-elle également nous demander de régler quelque chose ?

Je vous remercie par avance pour votre retour.