Rembourser un trop perçu à la sécu

Bonjour,
la sécu me réclame un trop perçu depuis le 1er décembre 2009, date de départ de ma vie maritale, car les revenus de ma compagne n'ont pas été pris en compte jusqu'à ce jour pour le calcul de l'allocation ASI (aide supplémentaire invalidité) que je touche en complément de mon invalidité.
Sachant que j'ai déclaré comme il se doit chaque trimestre ces dits revenus, la sécu n'aurait elle pas du réagir plus tôt en faisant le calcul basé sur la déclaration trimestrielle, sinon à quoi sert cette déclaration. Et m'éviter ainsi un remboursement d'environ 2500 euros voir plus, car je n'ai pas plus de détails pour l'instant.

Questions :

Si il y a eu négligence ou oubli est il juste que j'en subisse les conséquences ?

Est ce que je peux contester cette procédure ?

Merci pour vos commentaires avisés.