Vente sans permis de construire

Bonjour,
Mon compagnon et moi-même devons signer un compromis de vente très prochainement. Il s'agit d'une grange aménagée ne possédant ni l'eau ni l'électricité.
La date de construction ne peut pas être déterminée dans la mesure où il s'agit d'une construction très ancienne. De même, elle n'a pas fait l'objet d'un permis de construire en raison justement de sa date de construction antérieure à la loi sur le permis de construire. Les anciens propriétaires ont acquis ce bien en 1977 en tant que grange agricole, il ont eux-même aménagé l'intérieur de cette grange mais sans faire de demande de permis de construire ou de déclaration de travaux.
Ils payent en outre une taxe d'habitation] depuis 1989.
Le problème qui se pose c'est que cette grange (à la base agricole) n'a pas fait l'objet d'un changement de destination (en habitation) auprès de l'urbanisme.
Nous savons que dans ce cas l'infraction pénale est prescrite par 03 ans.
Les conséquences sont telles que l'on ne pourra faire aucune demande de permis de construire (car systématiquement refusé en l'absence de l'eau et d'EDF) pour d'éventuelles modifications de confort voire de raccordement. Nous ne pourrons pas non plus reconstruire en cas de destruction totale du bien par incendie par exemple.
La question que je me pose est de savoir si en achetant ce bien, nous n'allons pas nous mettre dans l'illégalité vis à vis de l'urbanisme. J'en ai parlé au notaire qui m'a répondu qu'il allait mettre la mention "grange aménagée en habitation sans permis de construire" et qu'il allait également joindre une annexe en mentionnant les impossibilités que j'ai mentionné avant.
J'ai des doutes concernant ces mentions, en ayant l'impression que par ces dernières le notaire veut procéder à la vente d'un bien qui, même s'il est a priori toléré depuis des années par la mairie, est illégal et que par ces mêmes mentions, il veut se dégager de toute responsabilité. De même, j'ai des doutes sur le fait de signer un acte de vente ayant la mention "grange aménagée en habitation sans permis de construire" nous fait reconnaitre que nous achetons un bien aménagé illégalement en toute connaissance de cause et que nous reprenons donc la responsabilité de cet aménagement illégal vis à vis de l'urbanisme.
Pouvez-vous m'éclairer sur cette situation car mes recherches ne m'ont pas permises d'apporter une réponse concrète à mes interrogations.
Merci d'avance.
Mag