Quels motifs pour ne pas rendre une caution ?

Bonjour,
Nous avons quitté notre appartement en avril et nous avons été contactés par le notaire en charge de l'appartement au sujet de la caution qu'ils doivent nous retourner.

Ils nous ont averti que le nouveau locataire aurait trouvé des déchets derrière le coffre de l'évier de cuisine (ce qui nous surprend car c'est une partie sensée être fermée).
De plus, ce nouveau locataire s'est plaint de l'état du mur d'entrée qui a été griffé par un chat. Cet élément était visible lors de l'état des lieux de sortie mais n'a pas été notifié plus précisément que "papiers peints état d'usage", de plus le papier peint avait été signalé comme étant griffé lors de notre arrivée (même si mon chat en a remit une couche, le papier peint était déjà bien griffé lors de notre arrivée, comme signalé dans l'état des lieux d'entrée).

Avant de rendre l'appartement, nous avons pris soin de refaire les tapisseries, hormis celles de l'entrée qui avaient gardé leurs couleurs et qui ne se décollaient pas, et qui avaient pour seul défaut ces griffures dans un angle.

Maintenant ils nous informent qu'en raison de ces deux points, ils vont retenir une partie de notre caution pour "rembourser" ces dégâts.
Sachant que les griffures étaient présentes avant notre arrivée, et que pour ce qui est des déchets ils n'ont été vus ni par nous en vidant l'appartement, ni lors de l'état des lieux de sortie et qu'aucune preuve ne nous est apportée, peuvent-ils nous retenir une partie de la caution pour ces motifs ?

merci !