Papa qui ne prend pas ses enfants.

Bonjour,
je vais essayer d'être claire ,j'ai entamé une procédure de divorce en 2010 ,dans un premier temps le divorce était comme mon avocate le décrivait "sur consentement accepté",nous sommes donc passés en conciliation en janvier 2011,entre-temps ne supportant plus les harcèlements répétés de mon ex-conjoint j'ai décidé de me rapprocher de ma famille et de déménager à environ 400 km ,lors de la conciliation il a été établi une convention acceptée et signée par les 2 parties ,cette convention notifie que j'ai un droit de résidence principale pour les enfants (7 au total de 16ans à 3 ans),mon ex-conjoint a obtenu un droit de visite et d'hébergement qui s'établit ainsi -chaque petites vacances 10 jours ,la moitié des grandes vacances ,ainsi qu'une semaine avant la rentrée scolaire ,pas de pension alimentaire au vu que monsieur est sensé payer certaines dettes et se trouve dans une situation pécuniaire assez instable ,comme monsieur n'a pas de permis à ma charge (aussi financièrement)d'emmener et de revenir chercher les enfants au lieu de résidence de monsieur ,ayant déjà appliqué le droit de visite au mois de décembre (10 jours pendant les vacances de noël)je pensais que cela ne poserait pas de soucis or en février monsieur a prétexté ne pas avoir les moyens (bien que travaillant plus ou mois au "noir" )de recevoir ses enfants ,j'ai donc décalé son droit de visite du du 28 février au 4 mars ,je lui ai emmené les enfants et je lui ai même rempli le frigo à mes frais afin qu'ils mangent ,je les dépose le vendredi après midi et dès le lundi il se plaint et m'intime de venir les chercher ,de plus pendant le week-end je reçois un coup de fil alarmant du papa qui me dit de calmer le grand car entre eux deux il y a eu une altercation ,je me débrouille et viens les chercher ,ce qui fait qu'ils ne sont restés que 4 jours et demi ,les dernières vacances il m'informe qu'il ne les prendra pas ,afin de tenter de préserver le peu de lien entre les enfants et leur père je lui propose donc s'il ne peut pas les recevoir de venir jusque la grande ville qui est la plus proche de mon domicile afin de passer la journée avec eux , ayant toujours téléphoné afin de lui donner des nouvelles des enfants ,après mon dernier coup de fil monsieur ne m'a jamais rappelée ,samedi je reçois un courrier de sa part qui m'indique qu'il n'a pas les moyens de mettre du crédit dans son téléphone ,qu'il a encore des problèmes avec un employeur indélicat ,qu'il n'a pas été payé etc...il me dit que si j'ai l'intention de l'empêcher de voir ses enfants la roue tourne ; que c'est à moi de lui téléphoner le plus souvent possible .
comment dois-je pratiquer ,quels recours me sont possibles ,car je suis dans une situation délicate ,d'un côté cette convention nous l'avons signée conjointement ,et je ne veux pas descendre en flêche le papa aux yeux des enfants (chose qu'il fait très bien tout seul),de l'autre côté je me sens démunie ,car le papa m'a bien formulé sa volonté de me faire chi**