Bébé de 3 moi et demi

Bonjour,
Je vous explique ma situation même si de nombreux post ont était poster à ce sujet.
En concubinage avec un enfant ( 3mois et demi) nous nous sommes séparer avec le père de mon enfant.
Monsieur est parti vivre à 300km du domicile héberger par un ami.
À ce jour, il ne veut pas déclarer à notre organisme HLM qu'il n'habite plus dans le logement. Me menace tous les deux jours d'enlever de force notre bébé ( nous avons l'autorité parentale tous les deux ) pour le prendre une semaine ( ce qu'il me paraît une durée démesuré pour l'âge de notre enfant et qu'il ne jouit pas encore de son propre logement pour accueillir son fils dans de bonnes conditions. Il menace d'appeler à mon travail quand je ne lui répond pas une journée, harcèle toute ma famille au téléphone.
J'ai essayer de prendre sur moi , de trouver des solutions adaptées pour le bien être de mon petit bout mais il ne pense cas son propre intérêt et me pourrit la vie.
J'ai envoyer le dossier au juge des affaires familiales hier, je ne sais pas quel durée cela vas prendre et quand nous allons passez pour être fixer sur la garde de notre enfant; il n'a pas d'adresse postale à me communiquer ce qui vas compliqué la procédure ..
Que faire en attendant, surtout qu'il menace de revenir vivre au domicile ?
Merci d'avoir pris le temps de m'avoir lu..