Augmentation de loyer retroactivement

Bonjour,
le 11/10/2012 j'ai acheté un logement loué depuis le 24 janvier 2004 à hauteur de 580€ mensuels hors charges locatives. l'ADIL m'a dit que je pouvais réévaluer ce loyer et m'a calculé son montant exact soit 685€ mensuels. Certains me disent qu'en tant que nouveau propriétaire je n'ai pas le droit d'augmenter ce loyer pour la période précédant mon acquisition alors que l'adil me dit que oui et que je peux même remonter jusqu'à 10 ans. Si je peux récupèrer le dù, je le ferai, mais je ne voudrais pas non plus récupérer l'indù. lerci de me répondre avec précision sur mes droits et si possible avec énumération du ou textes en vigueur