Proprietaire qui change d'avis

Bonjour,
Apres avoir visité une petite maison nous lui avons dit qu'elle nous plaisais et apres quelques jours il nous a dis que c'etais OK et que nous pouvons rentrer fin aout et qu'il nous envoyais les papiers. Ne recevant pas les papiers nous venons de l'appeler et la il nous annonce qu'il ne veux plus nous le louer a nous et qu'il le gardais pour sa niece qui cherche une location. Que faire ? est -il dans son droit de changer d'avis meme apres un accord (verbal seulement)?