Besoin de conseils urgents pour accrochage

Bonjour,
Il y a 6 jours j'ai reculé dans une voiture en voulant sortir de l'endroit où j'étais stationné. Ma voiture n'a absolument rien, par contre ma boule d'accrochage de remorque a fait un petit impact plutôt léger sur le par-choc l'autre voiture. Petite précision : j'étais garé sur un emplacement autorisé, par contre celui derrière moi était garé après la délimitation des pointillés de stationnement, donc logiquement sur un endroit non autorisé. D'autre part je ne pouvais pas sortir de mon emplacement sans reculer un peu, tellement il s'était garé près de ma voiture.
Comme le conducteur de la voiture était dans les parages, il est venu me voir pour constater les dégâts, qui je le répète étaient minimes. Je lui ai proposé PAR 2 FOIS de faire un constat, mais il n'a pas voulu. Il m'a simplement dit qu'on allait faire un échange de carte (nom + numéro de tel) et il est parti. Le soir même il m'appelait pour me dire qu'il allait m'envoyer un devis pour les réparation sur sa voiture. Comme l'impact était vraiment petit, j'ai pensé que je n'aurais pas grand chose à payer et j'ai dit OK. Il me rappelle 2 jours plus tard pour me dire que le devis qu'il va m'envoyer était de 466 Euros ! du coup je lui ai dit que ça me semblait cher, mais il me sort qu'il y a la peinture à refaire, etc...
J'ai reçu le devis aujourd'hui, qui s'élève bien à 466 E, mais du coup cette somme me semble totalement injustifiée, surtout qu'il n'a pas voulu faire de constat donc ça serait de ma poche si je payais, je ne peux pas faire jouer l'assurance. Je suis OK pour payer une partie des réparations, mais pas cette somme quand même énorme. Que dois-je faire ?