Annulation promesse de vente sans clause pénale

Bonjour,

Le 28/12/2017, nous avons signé une promesse unilatérale de vente pour l'achzt d'un terrain à bâtir.
Ce jour-là, nous avons versé au titre de l'indemnité d'immobilisation la somme de 1 000 € (montant de l'achat : 36 000 €).
Nous devions signé la vente au plus tard le 31/05/2018.
Suite à un changement professionnel ( mutation fortement probable dans les 2 ans), nous avons décidé d'annuler cette promesse de vente; le risque est trop grand de se retrouver avec une maison et un remboursement de crédit sans être sûr de pouvoir revendre rapidement.
Nous avons donc informé le notaire de cette décision et avons eu rdv avec elle hier soir.
Elle nous informe que nous devons régler la somme de 3 600 € aux vendeurs (à déduire les 1 000 € déjà versés).
Toutefois après avoir relu la promesse de vente, rien ne nous oblige à régler cette somme, aucune clause pénale n'étant porté dans la promesse de vente.
Nous savons que nous ne récupérons pas l'indemnité d'immobilisation mais je souhaiterai savoir si nous sommes redevables de la somme de 2 600 €.
Merci pour vos réponses