Achat terrain

Bonjour,
Avec mon ami nous avons fait une proposition orale pour acheter un terrain avec une agence immobilière. Les vendeurs ont fait une contre offre que nous avons refusée. Il faut savoir que tout s'est passé oralement, il n'y a eu aucun écrit. Nous avons le numéro personnel du propriétaire du terrain et nous aimerions savoir si on peut passer en direct avec lui sans que l'on est de problèmes par la suite avec l'agence. Est-ce possible?
Merci d'avance de vos réponses
Charlène