Problème de caution avec mon propriétaire

Bonjour,

Voila j'ai un souci avec mon propriétaire. J'ai déménagée le 27 février 2010, mon propriétaire ne pouvant être là pour l'état des lieux de sortie nous l'avons effectué le 03 mars 2010. L'état des lieux ne stipulent rien de particulier je l'ai rendu en excellent état et mon propriétaire était content. Sauf que, en juin 2008 nous avons (en accord avec nos voisins du dessous puisque nous vivions dans une maison à étage nous à l'étage eux en bas) demandé à nos voisins si nous pouvions installer une piscine gonflable sur leur partie de terrain. OK tout se passe bien nous sommes quand même obligés d'aplatir la terre (terrain en pente) pour que la piscine tienne à plat. Aujourd'hui mon proprio me demande de remettre la terre comme elle était sous peine de me retirer 40€/h si c'est lui qui le fait ! mais cette partie du terrain est louée aux voisins du dessous ??? Cela n'a rien à voir avec le logement que je louais ni à ma partie de terrain qui aller avec !!! peut -il retirer cette somme de ma caution logement ?????? je tiens à préciser que je me suis engagée sur le bail à remettre la terre comme avant sans préciser quand ni à quel endroit. Peut-il m'obliger à venir à une certaine date ? AIDEZ MOI SVP !!!!!
Je pense qu'il abuse ... et j'ai besoin de cette caution pour mon nouvel appartement .