Contruire muret contre mur batiment mitoyen

Bonjour,

Notre voisin a un bâtiment agricole dont un des murs est en mitoyenneté avec notre terrain. Les terrains sont en pente et ce bâtiment agricole est en partie enterré.
Lors de l'aménagement de notre terrain, nous avons ajouté du remblai pour créer une plate forme nous servant de parking (le terrain étant en pente, le remblai est sur une hauteur de 0 à 1m environ pour rattraper la pente).
Ce remblai a été mis en partir contre le bâtiment mitoyen sur une longueur d'environ 2 mètres.
Les voisins nous ont demandé de le retirer car il risquait d'endommager leur bâtiment. Ce que nous avons fait.
Avons nous le droit de construire un muret, en paralèle de leur bâtiment agricole, pour soutenir ce remblai (nous pensons faire un sorte qu'il soit étanche et prévoir un drainage pour que les eaux de pluies ne s'écoulent pas vers leur bâtiment).

Est-ce qu'il y a une distance à respecter ? (dans l'idéal nous souhaiterions le construire contre, mais pas en appui).

Doit-on leur demander leur autorisation ?

Nous ne sommes pas en très bons termes avec ce voisin et nous souhaitons avant tout être dans notre droit.

Je vous remercie pour vos réponses.