Accident Portail VS Voiture

Bonjour,
J'ai eu un accident sur ma voiture: suite à un coup de vent violent, le portail de ma maison est venu provoqué un choc sur la portière de ma voiture qui est maintenant déformée, il faut savoir que j’étais en train de sortir la voiture de la maison. Après renseignement auprès de mon assureur, celui-ci me dit que c'est l'assurance de la voiture qui est sollicité et en plus que c'est un accident responsable du conducteur (perte bonus et tout le tralalas).
Je ne comprends pas du tout pourquoi je suis responsable d'un accident que je n'ai pas provoqué car c'est bien le portail qui est en cause. J'ai même une vidéo de la caméra de surveillance qui le prouve et que l'assureur a vu. Pouvez-vous m'éclairer sur ce sujet car mon assureur n'a aucun argument à me présenter et j'ai un doute sur son honnêteté car c'est beaucoup plus rentable pour lui de déclaré un sinistre responsable du conducteur au lieu de faire jouer l'assurance de la maison (qui est aussi chez le même assureur).
Bien cordialement.