Litiges concernant les trajets pour la garde de notre fils

Bonjour, cela fait maintenant 3 ans que le père de mon fils et moi même sommes séparés. Pendant notre séparation, nous vivions à Montelimar dans la Drôme, puis il est parti vivre à Marseille pour tenter de trouver du boulot là bas. Nous ne sommes pas passer devant un juge puisque nous avions décider de régler tout ça à l’amiable. Mais voilà, aujourd’hui nous ne sommes plus d’accord sur les trajets. Monsieur voudrait que je fasse le trajet jusqu’à Avignon Centre à la gare, et je voudrais qu’on puisse se retrouver à la sortie d'autoroute pour une question de facilité (je fini le travail à 18h et le fait d’aller jusqu’au centre m’oblige à traverser la ville et à rentrer à point d’heure puisque, c’est bien connu, traverser la ville en voiture à cette heure est très compliqué). Je précise aussi qu’il refuse de venir jusqu’à l’autoroute puisque sa voiture n’est pas assuré et qu’apparement ça lui revient trop cher.
Ma question est la suivante : étant donné que c’est lui qui a déménagé (sans raison particulière puisque ça ne concerne pas une mutation ni une obligation quelconque), suis je en droit de décider du lieu de rencontre pour pouvoir déposer mon fils?
Je précise qu’il ne me verse aucune pension alimentaire puisqu’il estime que notre fils ne me revient pas à beaucoup financièrement et que sa situation ne lui permet pas de m’en verser une! Je suis entrain de monter mon dossier pour le juge, ai je des risques que celui ci en décide autrement?
Merci pour votre réponse