Abandon contrat saisonnier non signé

Bonjour,
Voici ma situation :
J'ai l'an dernier travaillé en tant que saisonnier pour une association en tant que guide touristique, en avril cette association m'appelle pour savoir si je voulais refaire la saison avec eux ce a quoi j'ai répondu oui (par téléphone) ceci étant, j'étais dans le même temps à la recherche d'un emploi mieux rémunéré (Je ne travaillais que 2 jours par semaines et 3j/jour)
J'avais postulé pour travailler en intérim dans une entreprise industrielle Il y a de ça un mois et demi et j'ai appris il y a 2 jours que j'étais accepté je ne désire donc plus travailler pour cette association la différence d'horaires et de salaire étant très importante.

Aujourd'hui samedi 1er juillet je suis sensé commencer mardi 4 mais aucun contrat n'a été signé pour le moment (contrat saisonnier), j'aimerais donc des éclaircissements, le travail non commencé et le contrat non signé ni même remis, après m'être renseigné sur le net il me semble que je puisse abandonner le poste sans risquer quoi que ce soit? Cette situation embettera très probablement l'association mais je ne suis engagé à rien car rien n'a été signé il s'agit simplement d'un accord oral donné au téléphone par un tiers (mes parents car j'étais en voyage au Japon lorsqu'ils m'ont appelé.

Merci d'avance