Relation amoureuse?

je suis séparée de mon mari depuis mai 2013, la décision étant très bien réfléchi des mois auparavant, mais l'organisation matérielle m'a demandée du temps. La cohabitation fut longue et difficile (chambre a part) avec beaucoup de conflits et j'ai meme une fois finie au commissariat pour deposer une main-courante car il m'avait menacée.
mon mari met tout en oeuvre pour retarder la procédure. Nous devions tout d'abord divorcer par consentement mutuel mais il s'est retracté dès que le projet nous a été envoyé par l'avocat que nous avions consulté. Nous avons deux enfants (7ans1/2 et 22 mois), dont j'ai actuellement la garde puisqu'il me dit se sentir incapable de s'en occuper. D'ailleurs, il ne s'en occupe quasi pas car ne les prend qu'un week end sur 2 et quand ca l'arrange!! Et je ne parle pas du côté financier : aucune aide bien sûr.
De mon côté, après des années très difficiles dans mon couple, j'ai rencontré quelqu'un, après avoir quitté le domicile conjugal, mais j'ai peur que si je continue dans cette nouvelle relation, mon mari ne me mette des bâtons dans les roues...Qu'est ce que je risque en fréquentant un autre homme? Est-ce que cela peut avoir des conséquences sur la garde de mes enfants, sur l'aspect financier du divorce?
j'ai été obligé de prendre un avocat de mon côté mais avec les vacances d'été, et la mauvaise volonté de mon mari, rien n'a avancé encore et je n'en peux plus.
Merci de vos réponses