Problème avec le père de mon fils

Bonjour,
Voilà j'ai eu un garçon de 6 ans avec un homme. Nous nous sommes séparé quand il avait 3 ans. Aujourd'hui, j'ai un enfant de 17 mois avec un autre homme, qui partage ma vie.
A la suite de mon second garçon, le plus grand a souhaité appeler mon ami Papa. Je lui est accordé. Je lui est simplement dis de faire ce qu'il lui plaisait.
Par contre le père de mon grand ne l'a pas du tout accepté et le gronde à chacun de ses retours à son domicile. Cela devient même harcelant. (je comprends tout à fait que cela ne lui plaise pas). Par contre, il fait bien la différence entre son vrai père et mon ami.
Aujourd'hui mon fils m'apprend que sa belle-mère lui demande de m'appeler par mon prénom et mon nom de famille pour que "j'ai les boules" (mot sortis de sa bouche).
Il me rapporte souvent que sa belle-mère lui dit des choses pas très simpathique à notre égard.
Pourtant, je fais tout pour qu'il se sente bien. Son père a la garde normalement le mardi soir, un week-end sur deux et la moitié des vancances. Je lui est accordé (à mon grand regret), qu'il l'ai en plus le mercredi (pour le foot) et le jeudi matin. Au final, je l'ai moins que son père. De plus, j'ai fait une demande de dérogation (qui a été acceptée) pour un école plus proche du domicile de son père, afin qu'il puisse le récupérer plus facilement.

Avec tout ça, j'ai peur que mon fils soit perturbé en étant entre son père, sa belle-mère et nous.
De plus aujourd'hui, j'aimerais avoir la garde comme il était convenu lors du jugement, mais je ne sais pas comment faire.
Si je reclame à son père d'avoir mon grand le mercredi, celui-ci va entamer une nouvelle procédure pour une garde partagée. Ce que je ne veux pas, car il nous a laissé dans la m.... mon fils et moi pendant 1 an 1/2. De plus, il est violent verbalement, et j'en ai peur.
Si j'ai la garde aujourd'hui, c'est parce que son père habitait trop loin de l'école. A présent, nous sommes a égale distance.
Pouvez-vous m'aider, je ne sais plus quoi faire.
Merci d'avance.