Dépôt lors d'une promesse de vente

Bonjour,

Notre copropriété a signé une promesse de vente pour vendre un terrain en mars 2015. L'acheteur (A), a finalement décidé de ne pas acheter, arguant de ce que, certainement, il estimait être une clause lui permettant de se retirer de la promesse sans dommages. Son notaire, ayant tardivement (les délais étaient dépassés, soit mai 2016 pour la signature définitive) renseigné le nôtre de sa décision, s'est vu rendre le dépôt initial de 5 % que son client (A) avait fait. Notre notaire l'a informé que la promesse de vente était caduque (nous avions un autre acheteur). Le notaire de l'acheteur initial (A) lui a rendu ses 5 %. Pourtant, il nous semble que le motif allégué pour se retirer de la vente ne rentrait pas dans les motifs l'autorisant indiqués dans la promesse de vente. En conséquence de cela, les 5% auraient dû nous revenir. Ma question est donc la suivante : le notaire de l'acheteur avait-il le droit de rendre cette somme sans nous en informer ?