Reprise de bail

Bonjour,
j'ai loué un appartement au mois de mars avec un contrat de 2 ans. Je comptais m'installer au Luxembourg avec toute ma famille (ma femme et 2 enfants), mais pour des raisons personnelles j'ai été obligé d'y renoncer. J'ai donc quitté cet appartement qui était trop grand et trop cher pour moi seul et j'ai commencé à chercher un nouveau locataire. J'ai aussi demandé ò l'agence auprès de laquelle j'avais signé mon contrat de m'aider.
Hier j'ai trouvé un nouveau locataire qui pourrait reprendre mon bail, mais il semble que le propriétaire ne veut que de familles avec max. un enfant. J'ai dit que cela n'a pas de raison, comme j'en ai 2 et le propriétaire l'avait accepté, mais à l'agence on m'a repondu que mes enfants ne se sont jamais installé. Quand j'ai souligné que c'était mon intention de venir avec 2 enfants, on m'a dit qu'il allaient parler avec le propriétaire.
Ma question est s'il est légitime de refuser un contrat de bail pour le nombre d'enfants. Je voudrais aussi savoir si j'ai de possibilité de résilier mon bail suite à cette nouvelle prise de position du propriétaire.
Merci