Construire un chalet zone verte (Canada)

Nous avons achetés mon mari et moi un terrain (pour taxe non payées) qui était à l'abandon suite à une incendie, le terrain est vacant depuis 7 ans et le propriétaire précédent avait perdu son droit de reconstruire et la succession ont fait faillite, il y avait eu suicide sur le dit terrain
Ce terrain est le minimum pour construire soit 200 pc par 200 pc, un ruisseau passe au milieu et il y a reste 2 puits de surfaces et 1 fosse septique de 4 chambres fonctionnelle mais on m'empeche d'y bâtir, me prétextant que c'est zone agricole (zone verte) mais qu'il y a zone riveraine, impossible donc d'y bâtir un petit chalet de 2 étages de 24 X 24 sur l'emplacement même de l'ancienne maison qui était plus grande que ce que nous voulons y rebatir. Un expert à dit qu'il est hors de question de changer l'emplacement ou les tuyauterie de la fosse car cela causerait des problemes à long terme.

La ville (je vais taire le nom) m'a dit que je devais m'informer auprès de (Protection des droits agricoles) pour un forme de dérogation mais j'ai jamais eu suivi et ils ne me retournent pas l'appel.
De plus, il est difficile de relancer sans connaitre mes droits car nous avons vraiment l'impression que ce terrain est acquis avec un vice caché et que la (MRC) aurait dû nous aviser dès qu'acquisition du dit terrain et pas maintenant que nous avons investit des milliers de dollars.
Légalement, faire des procédures judiciaires contre la ville est presque du suicide et nous sommes presque certains de perde selon certains de nos amis qui s'y connaissent et nous ne nageons pas dans l'argent non plus, cette construction constitue notre projet de retraire car mon mari sera retraité d'ici 6 ans, nous ne savons plus où nous donner de la tête.....
merci de votre aide et de vos conseils...