Ancien proprietaire refuse de nous remettre les clés

Bonjour,

J'ai acheté une maison à un couple se séparant.
Achat entre particuliers.
L'acte authentique a eu lieu le 25 mai dernier par procuration à cause du Covid, mais avec l'accord des 2 anciens propriétaires j'ai emménagé 5 jours plus tôt. (Accord oral uniquement)
Nous nous étions donné rdv avec madame la veille pour remise des clés et relevés de compteur, et avions demandé à monsieur s'il souhaitait venir ou nous remettre son jeu de clés dans la boite aux lettres, car les deux ne peuvent plus se voir (séparation très compliquée).
Pas de réponse de sa part malgré nombreuses relances.

Le matin de la signature de lacte il nous dit avoir déposé les clés dans la boite aux lettres.
Mais il n'y avait rien. 5 jours passent, il ne répond pas à nos sms, et finit par nous assurer qu'il a bien déposé les clés et qu'il ne comprend pas pourquoi nous ne les avons pas.

D'après son ancienne compagne ce ne serait pas son premier mensonge.
De plus, quelques semaines avant l'acte il a appelé à de nombreuses reprises la notaire ainsi que son ex compagne pour tenter de récupérer les claustra de la maison, alors qu'il déménage dans un appartement.

Son comportement est très inquiétant d'autant plus qu'auprès de nous (quand nous arrivons à le joindre) il nie tout et nous assure avoir fait le nécessaire.

Que pouvons nous faire ?

Merci beaucoup,
Laurie