Surloyer suite a une prime en retraite exceptionnel

Bonjour, je comprends avoir déclarer (il y a 18 mois) des impôts plus élevé que d'habitude suite a ma prime exceptionnel de départ. J'ai toujours eu un petit salaire et avec plus de trimestre qu'il n'en faut cependant ne touche désormais que 960 euros par mois. Maintenant,  mon HLM me demande un surloyer de 280 euros de plus par mois (donc 780 euros) alors que faire ? Va t'il me prendre longtemps ce montant sur cette prime que j'ai mis de cote comme un petit magot qui doit tenir  en cas de soucis ou petit plaisir sur le reste de ma vie ?  Déjà les impôts mon taxer aussi dessus en prenant 2200 euros mais ils m'ont dit que désormais je n'étais plus imposable. je vous remercie de votre retour. Bien cordialement