Construction agricole

Bonjour,
Nous possédons des anciens poulaillers qui sont occupes par plusieurs personne qui ont chacun leurs activités il s’agit de terrain agricole qui sont bien évidemment pas constructible on aimerait dans les hangars encore disponible construire notre maison est ce qu’il est nécessaire d’avoir une activité agricole à notre nom ou le fait que nous soyons bailleur du reste des hangars suffit ?
Puisque nous souhaitons faire un prêt il faut que tous soit déclaré