Garde alternée -déménagement

Bonjour,
Je suis divorcée depuis 2009 et mes enfants sont en garde alternée depuis cette date, je me suis remariée il y a un an, mon mari a acheter une maison (avant que l'on se rencontre) dans le 72 et nous vivons dans le 49 dans une location. Nous avons voulu garder la maison car il y est très attaché. Cela fait maintenant plusieurs année que nous payons donc la maison plus la location, nous avons fait ce choix pour que mes enfants puissent vivre autant avec leur père que nous. Aujourd'hui financièrement nous n'en pouvons plus de payer deux loyers et souhaitons partir vivre dans notre maison dans le 72 ; Je souhaite donc faire une demande de modification de garde, j'aimerai que mes enfants nous suive mais je peux comprendre qu'il veuille rester avec leur père. Par contre est ce que leur père peut m'imposer de rester en garde alternée, si il ne veut pas de la résidence principal chez lui pour ses enfants ?
Pour info mon ainée va rentrée en 6e au moins de septembre et je me disais que ça serait le bon moment pour changer si ils voulaient nous suivre.
Merci par avance pour vos réponses.