Articulation d'une donation et d'un prêt

Bonjour,

Bonjour,
En juin 2012, ma femme et moi avons fait devant notaire une donation de 273000 euros à chacun de nos deux enfants soit 546000 euros. En juillet 2012, nos enfants se sont proposés de nous prêter chacun 270000 euros soit 540 000 euros pour nous éviter d'avoir recours aux banques pour financer l'achat d'une résidence secondaire familiale au Sud. Deux contrats de prêts ont été signés devant notaire au seul stade de la prospection immobilière, qui devrait se concrétiser ce mois-ci par la signature d'un compromis de vente. Les caractéristiques de chaque prêt (déclarés à l'administration) sont les suivantes : prêt In Fine de 16 ans avec possibles remboursements partiels anticipés. Intérêt annuel 0.5 % Les intérêts ont été scrupuleusement versés chaque mois par virement bancaire, et notre dette vis à vis de nos enfants est certaine, puisqu'ils ont entre leurs mains un contrat de prêt notarié.
La question est la suivante: L'articulation de ces prêts avec les donations préalables nous expose-t-elle à un risque fiscal relevant de l'abus de droit ? quelle en seraient les conséquences financières ? assiette et montant ?
En cas de risque important, doit-on rembourser immédiatement ces prêts, et envisager l'achat et le financement de cet appartement via une SCI à constituer avec nos enfants, dont ils seraient les porteurs de part majoritaires ?
Précisons que la conséquence" mécanique" des deux donations conduit à faire passer notre patrimoine de à une valeur inférieure au seuil d'assujettissement à l'ISF, ce qui n'était pas le but recherché au moment des donations, notre volonté étant simplement à 64 et 61 ans, d'entamer une transmission de patrimoine dans le cadre des dispositions fiscales en vigueur au premier semestre 2012.
Par avance, nous vous remercions de vos avis