Crédit immobilier et terrain agricole

Bonjour,
Je suis en cours d'acquisition d'un terrain agricole sur lequel se trouve un cabanon cadastré qui va devenir mon habitation principale (ce cabanon a toujours été habité par le propriétaire actuel, pour autant aucune taxe d'habitation payée pour l'instant). Selon le banque que j'ai rencontrée récemment, du fait de ce statut agricole, je ne peux obtenir un prêt immobilier : la banque me propose 2 solutions soit un crédit personnel (cher et court), soit un crédit professionnel (si je passe par une société pour acquérir, court également). Pensez-vous qu'il y aurait une solution alternative pour que je puisse obtenir un prêt immobilier (qui me permettrait d'obtenir un prêt plus long) ? Si j'apporte la preuve que cette habitation va constituer mon habitation principale, pourra-t-il y avoir une "dérogation" ?
Merci d'avance pour vos réponses.