Comment récupérer des points sur son permis après usurpation

Bonjour,
après un contrôle de gendarmerie, ils m'ont fait savoir qu'il ne me restait que 2 points sur mon permis hors j'étais sur d'en avoir 4. ( j'ai un permis probatoire à 6 points, jeune conducteur) et là ils m'apprennent que je me suis fait contrôler le jour où je fêtais mon anniversaire à 900km de chez moi pour excès de vitesse.
Donc démarches administratives, dépôt de plainte mais les gendarmes me disent que çà va être très long pour les récupérer mais si je paie mon amende pour l'infraction que j'ai faite, je perd mon permis alors qu'il devrait m'en rester 2. Avez vous des conseils?