Remboursement d'acompte

J'ai versé un acompte de 400 € pour l'achat d'une caravane d'occasion qui stationne sur un terrain privé clôturé depuis plusieurs mois.
Le propriétaire actuel doit casser une partie de la clôture pour sortir la caravane.
Nous avons fait 2 visites de cette caravane à la suite desquelles j'ai demandé par mail au propriétaire de remplacer un transfo 220/12 V grillé et de procéder à quelques vérifications avant que je prenne cette caravane.
Il m'a répondu qu'il n'avait pas le temps ni les moyens de procéder à ces vérifications.
Je lui ai donc répondu que dans ces conditions je ne pouvais prendre ce véhicule "dans l'état" car rien ne me prouve qu'elle peut rouler sans danger.
Nous nous étions entendu sur un prix de 4 500 €
Il ne veut pas rendre l'acompte prétextant que je lui ai fait perdre 3 acheteurs potentiels
est-il dans son droit ?