Construire un four à bois sur zone privative

Bonjour,

je souhaite construire un four à bois qui est dans ma zone privative et qui ne touche pas la structure de la maison.
Mes voisins le jour même ont débarqué chez moi invoquant que je n'avais pas le droit de construire en dur (en faites, ils ont une fenêtre qui donne sur un couloir qui est à l'opposé de leur lieu de vie et disent que la fumée passera par là.ce n'est pas leur unique fenêtre pour info et elle est souvent fermée).Pour info, je ne ferai pas de barbecue toute l'année :-)
je me suis renseigné à la mairie et sur les zone privative. Toute construction qui a une surface de 5 m2 et une longueur jusqu'a 12 m et en dur n'a pas besoin de permis de construire ou d'autorisation, ce qui est mon cas.
De plus , rien est écrit dans la règle de copro interdisant les barbecues et la construction en dur (ces voisins me disent le contraire , je leur ai demandé de me dire ou cela était écrit et pas de nouvelles de leur part).
la personne de la mairie (service urbanisme) m'a clairement dit qu'ils exagéraient.
Pour info, eux ce sont fait construire une terrasse en dur sur la structure de la maison (rajout de surface) et cela n'a posé de problème et sur leur terrasse, ils ont un barbecue donc cela aussi ne les dérange pas.
Donc ai je le droit de construire sachant que cela aura une surface inférieure à 5 m2 et que le barbecue n'est pas considéré comme une nuisance puisque temporaire?
merci pour votre aide