Obtenir la garde de mon fils

Bonjour,
Il y a un peu plus d'un an que mon ex conjoint a obtenu le droit de garde de mon fils.
J'ai donc droit à un droit de visite et d'hébergement "1 week end sur 2 et la moitié des vacances".
Cependant, j'ai mon fils de plus en plus souvent, sur une semaine, par exemple, je l'ai 4 à 5 jours et presque tout le temps des vacances. De plus quand je vais le chercher il est trés sale on voit bien par là qu'il ne s'en occupe pas.
Mon fils pleur quand je le reconduit chez son papa !!! Il ne veut rester qu'avec moi.
Pourriez-vous me conseiller sur les démarches que je pourrais entreprendre pour avoir la garde de mon fils.
Merci d'avance.