Problème locataire-propriétaire

Bonjour,

voici ma question: j'ai quitté une location le 3 Août dernier. L'état des lieux de cette dernière a été effectué par un agent immobilier. Cet état des lieux constate un logement très propre, entretenu, bref tout est ok. Cela dit, hier je reçois un appel de l'agent immobilier me précisant que le propriétaire de la maison n'est pas satisfait de certaines choses et ne va pas nous rendre la caution dans sa totalité. Il nous reproche ceci:
- avoir laissé des ardoises dans un parterre de fleurs, ardoises que l'on avait disposées pour embellir et faciliter l'entretien.
- ne pas avoir décrépit un mur que l'on avait effectivement enduit nous même à nos frais pour embellir une fois de plus.
- ne pas avoir taillé les haies alors que cela a été fait dans les règles de l'art, constaté par l'état des lieux et même pris en photo.

Il serait plus judicieux de ma part de vous préciser que les propriétaires habitaient en face de chez nous. Ces derniers dans la rue, nous avaient demandé de retirer les ardoises, ce que nous avons fait mais il semblerait qu'elle en a retrouvé sous certains arbustes. Quant au reste et même concernant ces ardoises, rien de cela n'a été écrit. Il faut également savoir que notre bail allait jusqu'au 21 Août mais pouvant être reloué au 1er. Fin julllet, l'agent partant en vacances nous a dit qu'il ne serait pas reloué. Surprise, le 1er Août on nous prévient qu'il est reloué pour le 4, avec l'état des lieux le 3. Cela fait court pour l'entretien intérieur et extérieur!

Je vous épargne bien d'autres soucis rencontrés avec les propriétaires!
Ont-ils réellement le droit de retenir des frais sur la caution malgré l'état des lieux effectué et signé par une agence? Si oui, je suppose sous preuve de facture ou devis?

Merci d'avance pour vos réponses.

Cordialement