Notion d'extension dans le cadre d'une construction en zone N

J'ai acheté une petite parcelle qui jouxte ma propriété pour y construire un garage.Un conseiller de la communauté de commune m'a dit que je pouvais le faire à la condition que celui ci soit une extension de la maison.La parcelle de ma maison ainsi que la parcelle achetée sont en zone N.c.d.Hors sur les dispositions applicables à la zoneN.c.d. il est écrit que les extensions sont autorisées sous réserve de ne pas gêner l'activité agricole.Je souhaiterais construire ce garage sur l'emplacement d'une vieille maison dont la structure n'apparait plus sur le cadastre.Qu'en est-il vraiment?
Merci de votre réponse.