Temps de travail annualisé - besoin d'expert

Bonjour,
depuis le 1er juin 2007, mon employeur a annualisé mon temps de travail mais n'a pas jugé utile de me faire signer un avenant à mon contrat de travail qui, à la base est de 39 heures par semaine avec 23 jours de rtt par an. Ainsi, je dois effectuer 1607 heures dans l'année. Au 31 mai 2007, je disposais de 142 heures supplémentaires. Mon employeur m'a déduit dans un premier temps ces heures supp et a recalculé mon temps de travail, soit 1465 heures à effectuer entre le 1er juin 2008 et le 31 mai 2009. Cependant, ayant trouvé un autre emploi plus proche de mon domicile, j'ai donné ma démission et suis actuellement en période de préavis. Aujourd'hui, j'ai eu rdv avec mon employeur pour faire le point sur mes heures effectuées. Au début, il trouve que je lui dois 20 heures puis se ravise et refait un autre calcul. Je souhaiterais avoir un avis ou conseil. A t-il le droit de procéder de la sorte?
Voici son calcul:
- 1607 heures de travail sur 52 semaines
- là il me retire 4.39 heures pour un congé non pris au 31 mai mais il m'a autorisé à le poser au mois de juin
- il me retire également des 1607 heures 105.36 heures de congés maladie ( arrêt maladie du 5 au 12 juillet, puis du 11 au 24 octobre)
1607 - 4.39 - 105.36 = 1497.25 heures à effectuer sur 52 semaines ce qui équivaut à environ 28.79 heures par semaine.
Comme je ne travaille cette année que 27 semaines à cause de ma démission, il fait le calcul suivant: 28.79 x 27 = 777.33 heures à travailler.
Depuis le 1er juin 2008, j'ai pratiquement tjs travaillé plus de 28.79 heures ce qui me constituait qq heures supp. Cependant, lorsque j'étais en congé ou en arrêt maladie ces heures supp ont diminué. Après avoir pris 3 semaines de congés payés et avoir été pendant 26 jours en arrêt maladie, il m'informe qu'à la date de la fin de mon préavis je dois 113 heures. Puis comme je disposais de 142 heures supp de l'année précédente, il me déduit les 113 heures à devoir de celles-ci et m'annonce qu'il me doit 29 heures supplémentaires.
Ce chiffre m'a paru très petit comparé à ce que j'avais effectué l'année précédente. Je n'arrive pas à comprendre comment j'ai pu récupérer autant d'heures en 6 mois de temps. Est-ce possible? son calcul est-il correct?
Je souhaite vivement un conseil d'expert car je signe bientôt mon solde de tout compte. Je remercie tout ceux qui prennent de me lire et de m'aider à y voir plus clair.