Problème en location

J'ai loué mon appartement il y a une semaine et j'avais bien précisé a mon nouveau locataire j'accepte une seul personne ou bien un couple mais pas avec les enfants (on ne l'a pas noté sur le contrat de location),il vient me dire qu'il a rencontré une femme avec un enfants et avec qui , il veut vivre dans mon appartement f2 , 64m² dont on a signer le contrat il y a une semaine et qu'il se souviens pas de ce règle que j'ai bien préciser des au départ , ai-je le droit de refuser ?
Je lui ai dit , s'il souhaite partir je lui rendre son loyer de ce mois et son chèque de dépôt de garantie ,il refuse !