Retour de caution

Bonjour,
Mon mari et moi étions locataire d'un logement.
Lors de notre arrivée, nous avions réalisé un état des lieux avec notre propriétaire via un huissier.
Lors de notre départ, le propriétaire nous a dit que l'on s'arrangerait entre nous pour faire l'état des lieux. Aucun papier n'a été signé lors de notre départ pour cet état des lieux.
Aujourd'hui, alors qu'il doit nous rendre notre caution (1200€ !! ce n'est pas une paille), il nous envoie un devis d'un montant de 265 € concernant des trous fait dans les murs.
N'ayant pas de traces écrites de notre état des lieux de départ, comment pouvons nous contestés ?
Il faut savoir que nous avions effectivement fait des trous mais nous avons pris soin de les reboucher à notre départ, sauf il est vrai ceux dans la salle de bains.
Comment peut-on contester ce devis? Nous acceptons les frais dans la salle de bains mais pas dans la salle a manger, nous avons rebouché les trous lors de notre départ.
Merci de nous venir en aide rapidement.