Mon amant ne veut pas vivre avec moi

Bonjour,
Nous sommes très amoureux l'un de l'autre depuis 2 ans et demi. Nous sommes marié tous les 2 depuis plus de 20 ans, avec enfants. Je souhaite franchir le pas de la vie commune avec lui depuis un an mais lui ne se décide pas pour diverses raisons : il ne veut pas quitter son environnement géographique (45 km) du mien pour ses activités et ses enfants qui ont 25 ans et sont autonomes. Moi je ne veux pas quitter mon environnement car je veux 1 garde alternée. Il dit aussi que je ne serai pas heureuse loin de ma vie dans laquelle il y a beaucoup de facilités. Je ne le vois pas assez. Je n'en peu plus de cette situation d'attente de plus avec lui (pas de vacances, les WE sans lui, les rendez-vous trop courts)Je n'ai plus envie de mon mari; heureusement qu'il y a les enfants. Je lui manque aussi mais il n'ose faire le pas. Que dois je faire