Violation de domicile ?

Bonjour,
Suite à de gros problèmes avec mes voisins j'ai décidé de faire venir un huissier pour constater les différents dommages causés.
Lors du constat, mon voisin est sorti de chez lui et a franchi une petite barrière de clôture (donc est rentré dans ma propriété). J'ai dû ouvrir ma porte pour lui demander de partir: ce dernier ne voulait pas, l'huissier a dû intervenir pour lui demander de bien vouloir rentrer chez lui (car bien sûr il était très agressif voire menaçant).
Je me demande si suite au rapport de l'huissier qui relate ces faits, je peux porter plainte pour violation de domicile (ou déposer une main courante) car je ne lui avais pas ouvert la barrière, et je ne l'avais donc pas invité à rentrer chez moi, mais j'ai ouvert la porte non pas pour l'inviter à rentrer mais bien pour lui demander de sortir.
Merci d'avance de vos réponses.