Versement régulier de la pension en liquide et recouvrement caf

Bonsoir.
j'ai une fille de 4 ans que j'ai conçu avec mon ex copine. Nous somme séparés depuis 2 ans et nous somme passe au tribunal 3 mois après pour fixe la garde chez la mère bien entendu..?et la garde pour moi 1 weekend sur 2 et la moitié des vacance scolaire. Suivi d'une pension de 120euro.la maman et moi avons 45 Mn entre chaque domicile ce qui fait de la route.donc nous avions convenu de faire chacun 1 aller retour chacun soit moi je la récupère le vendredi après l'école et la maman venait la chercher le dimanche fin de journée ce qui me semble correct.
A partir de la tout c'est bien passé jusqu'à présent , moi je voyais ma fille comme convenu les trajet étaient respectés et je lui donne la pension tout les mois en espèce de main à main. Et surprise il y a 2 mois je reçois un papier de la caf et des impôt pour Non paiement de pension s'élevant a 2600e.
J'appelle la caf et il me dise qu'elle a déclaré depuis 18 mois que je lui payais pas de pension et en prime elle leur demande une avance sur pension !!( à la caf je précise).
Donc je ne sais plus quoi faire depuis 2 mois les impôt mon saisi sur salaire et il me prenne 190 euro par mois. Donc à partir de la j'ai demandé à la maman un courrier sur l'honneur attestant que je donnais la pension mais nan rideau !!
Depuis je lui ai dit que je ne pouvais pas assumer tout ça et que je ne donnerais plus de pension jusqu'à nouvel ordre . Et elle veut plus se bouge pour ma fille il faut que je fasse aller et retour vendredi et dimanche sinon je vois pas ma fille!!
Aidez moi je suis bloqué merci