Un voisin envahisant

bonjour ,un petit souci avec mon voisin de 75 ans ,voisin qui a d'ailleurs des soucis,beaucoup de soucis avec tout le village y compris la mairie ce qui me soulage un peu :je me dis que ce n'est pas personnel.....
cet après midi je bronze dans mon jardin clôturé coté route par un mur de 2 m et une haie de 2 m coté voisin;par précaution je pose un paravent coté route des fois qu'un camion ou tracteur voit au dessus du mur de 2 m aussi; depuis qu'il fait très chaud j'enlève "le haut" .c'est la 1+ fois de ma vie et je me dis qu'à 62 ans j'ai bien le droit de faire ce que je veux dans mon jardin sans choquer personne.....je prends donc des précautions par rapport à l'endroit où l'on pourrait me voir.....sauf que mon voisin a pris un escabeau ou une échelle pour faire je ne sais quel travail qui a duré juste le temps de me regarder ,de voir que je l'ai vu et de dire "et bien toi tu n'as pas honte.." et il a disparu.....il s'est plaint jadis que la haie faisait plus de deux mètres...
je vais donc me racheter un petit paravent coté voisin malgré la haie mais il y a toujours des échelles qui traînent...
je voulais savoir si je devais faire quelque chose au niveau légal? n'est ce pas du voyeurisme? je n'ai que ma parole contre la sienne éventuellement;je pense que du fait que je l'ai vu ,il a été surpris et ne recommencera pas car il est plutôt lâche mais si il recommence que dois je faire?
merci pour vos conseils