Indemnités journalières et déplacements

Bonjour,
Lors de mon embauche en CDI, mon employeur me propose un brut annuel inférieur à ma demande mais propose en contrepartie une rémunération sous forme de prime journalière de x euros par jour travaillé. Ceci est inclus dans mon contrat de travail.
Pour le paiement de cette prime, mon employeur me fait remplir une note de frais chaque mois, avec pour mention 'déplacement...', et je dois ajuster le nombre de kilomètres pour atteindre la somme dûe.
Cela ne me semble pas légal. Qu'en dites-vous ? Quelles conséquences ormis le fait que je perde certaines cotisations (retraite ...) ? Dois-je refuser cette prime et demander qu'elle soit ré-intégrée dans mon brut ?
Merci pour vos réponses.