Il peut me virer?

Bonjour,
Je suis une maman de 3 enfants 6,11et 15 ans, mon fils de 11 ans est autist. Ca fait seulement 4 mois qu'on habite ensemble dans un logement ou mon conjoint a signé le bail avant qu'on se connaissent. J ai quitée mon logement pour venir vivre avec lui a sa demande. On a fait une declaration de concubinage a la mairie, il a aussi envoyé un courrier a son proprietaire pour l'informer que j'habite dans le logement avec lui. Maintenant il veut mettre moi et mes enfants a la porte. Peut-il le faire? Est-ce que je peux demander de rester au logement avec mes enfants? Il sagit d'un logement conventioné par l' armé car il est militaire.