Exonération taxe habitation adulte handicapé

Bonjour à tous,
Mon épouse et moi avons un fils handicapé, âgé de 27 ans. Il est autiste de niveau haut (Asperger). Il communique mais retourne dans sa bulle. Il a réussi, malgré son handicap, et grâce à l’encadrement de l’association Handisup à valider 2 masters (Histoire et Documentation). Pendant notre vie active nous résidions en banlieue de Rouen. Nous avons fait construire à côté d’Aix en Provence et bien que conservant notre maison normande, nous avons établi notre résidence principale en Provence. Notre maison normande est devenue la résidence principale de notre fils. Car, même s’il vit souvent avec nous, il lui arrive d’être seul à Rouen. Il a heureusement un degré d’autonomie important.
Il est toutefois titulaire de l’allocation adulte handicapé(AAH), à taux plein, mais n’ayant aucun revenu personnel (il est inscrit à Pôle Emploi), il fait partie de notre foyer fiscal, nous apportant 1 part supplémentaire.
Lorsque nous avons changé notre résidence principale, nous avons signalé bien sûr à l’administration fiscale que la maison rouennaise serait désormais la résidence principale de notre fils. La 1° année (2013) il a été exonéré de la taxe d’habitation. Les 2 suivantes cela n’a pas été le cas même si on lui a appliqué un taux réduit en lui indiquant qu’il ne pouvait pas bénéficier de l’exonération totale puisqu’il faisait partie de notre foyer fiscal.
Où se trouve la vérité. Je vous serais reconnaissant de bien vouloir m’aider à éclaircir cette situation. Merci d’avance à toutes et à tous
bc76bg1944