Suis-je victime de diffamation ?

Bonjour,

Suite à un courrier qui m'a été adressé par mon ex employeur, celui-çi me demande de restituer les doubles des clefs du véhicule ainsi que du portail et de l'alarme (les clefs été rendus chaque soir au dépot et je n'ai jamais posséder les clefs du portail ainsi que l'alarme). Il dis que je m'expose en cas de vol à faire partis des personnes possédant un moyen de pénétrer dans les locaux, en gros je serais un voleur potentiel. Est-ce de la diffamation et si oui quel recours je peux avoir ?