Non déclaration de micro foncier depuis 3 ans

Bonjour,
En 2004 j'ai fait ma déclaration de micro foncier aux impôts et je n'étais pas imposable. On m'a dit que je n'étais pas obligé de faire la déclaration si je n'étais pas imposable ce qui est le cas (étant en invalidité je touche peu).
Donc depuis j'ai renvoyé ma feuille pré-imprimée que je reçois sans mentionner le micro foncier qui est minime et d'après mes calculs je ne suis pas imposable en le comptant.
Je suis je dans mon droit ? est ce que ce n'est pas une erreur de ne pas l'avoir mentionné, cela ne changeant rien au fait que je ne suis pas imposable en le déclarant ou non ?
Ma fille me dit que j'aurais du le déclarer quand même et que je risque une amende, le droit au bail étant aboli je pensais que c'était pas la peine.
Merci de me répondre car maintenant je me fait du souci et je n'ose pas m'adresser aux impôts, j'ai peur de me faire "engueuler".... je ne sais plus quoi faire.
Merci beaucoup
nono04