Location vacances - droit de recevoir famille pour repas?

Bonjour,
Des membres de ma famille (5 adultes) sont actuellement installés en location vacances près de chez moi. Il s'agit d'une grande maison avec 5 appartements en duplex d'une capacité de 6 personnes chacun avec accès à une piscine collective. Ils sont passés par une agence sur place qui gère ces biens.
Dimanche après-midi, nous souhaitions prendre le café ensemble sur leur terrasse. L'agence fermé, nous n'avons pas prévenu. On ne voyaient pas de mal à passer 1 heure ensemble sur leur terrasse privative sans bruit ou utilisation des parties communes. Nous étions 16 à table.
Une dame de l'agence qui était sur place pour se baigner avec ses enfants nous a délogé de suite d'une manière très désagréable précisant qu'il y a une capacité de 6 personnes. Toute solution de notre part (Payer un supplément etc.) a été bloquée de suite. Elle nous a refusé les coordonnés du propriétaire afin de le contacter directement et demander l'autorisation. Le groupe qui été en location également, nous a bien dit que cela ne les gênait pas du tout qu'on y passe 1h.
Nous avons été mis dehors avec 4 enfants et 3 mamies et la dame n'est partie qu'au moment où le dernier entre nous avait quitté le terrain en s'arretant en voiture et faisant un grand sourire narquois ainsi qu'un geste d'au revoir de la main.
Avait-elle le droit de nous mettre dehors ainsi? Est-il interdit de recevoir de amis pour un repas dans les parties privatives d'une location vacances? Nous n'avons trouvé aucune réponse claire pour le moment.
Merci de vos réponses.
Cordialement