Annule et remplace permis de construire terrain communal devenu caduque

Bonjour,
Suite à une annonce pour un terrain, le constructeur nous indique qu'il n'est plus libre mais nous propose un autre. Il s'agit d'un terrain communal très biscornu.
Le constructeur nous établit un plan, nous fait signer très rapidement pour le permis de construire, tout allait très vite, le problème c'est que cette maison ne nous ressemble pas, il n'était pas à l'écoute de notre demande, à savoir le garage collé à la maison et nous a fait comprendre que c'était à nous de s'occuper de faire monter le garage !
le mode de chauffage au gaz nous plaisait pas mais c'était comme ça !
Nous avons obtenu le permis de construire mais rien de signer chez le notaire car nous attendions le financement.
Le contrat fût caduque et nous avons été voir un salon de l'habitat où un autre constructeur était à l'écoute et bienveillant.
Aujourd'hui, je voudrais savoir si on annule le permis et qu'on en refait un avec le nouveau constructeur, peut-on garder le terrain (nous avions déposé 500 euros pour le réserver) du fait que c'est un terrain communal et es-ce que le 1er constructeur est en droit de réclamer le terrain et autres frais ?
merci pour vos réponse.