Garde alternée : logement problématique

Bonjour,
Nous sommes actuellement en résidence alternée avec mon ex compagnon pour nos deux filles de 13 et 11 ans. Aujourd’hui la maison dont nous étions propriétaires et dans laquelle il vivait encore, vient d’ être vendu. Il pense déménager dans une maison dont il serait locataire au dessus. Le problème c’est que dans cette maison, vit le propriétaire de la maison, qui a 70 ans, battait son ex femme et a des soucis de santé graves. Il peut parfaitement entrer dans la partie qu’occuperaient mes filles et mon ex conjoint s’absente régulièrement le soir pour des réunions, deux à trois fois par semaine. Cette situation m’inquiète fortement. Quel recours puis je avoir ?
Il faut savoir que les relations avec mon ex conjoint est très tendue.
Merci pour vos réponses,
É