Changement destination batiment

Bonjour,
Pour résumer la situation:
le propriétaire d'une maison possédant près de chez lui un terrain à destination agricole (et classé non constructible par le plan d'occupation des sols) installe son enfant pour un petit élevage de volaille. Il loue à son enfant le terrain qui y construit deux bâtiments pour les besoins de son activité agricole.
Quelques années plus tard, l'enfant déménage et cesse donc d'exercer.
Son père, propriétaire du terrain, utilise l'un des bâtiment pour le transformer en habitation afin de le mettre en location. Le maire de la commune signe une simple "autorisation de travaux" pour le changement de destination du présent bâtiment agricole.
Il paie donc les impôts locaux liés à cette nouvelle utilisation durant ces huit ou neuf dernières années.
Aujourd'hui, il veut mettre en vente cette habitation.
Est-ce légal, puisque le futur acheteur se retrouvera avec une habitation sur un terrain non constructible?
Le changement de destination a-t-il été fait de façon conforme dès le départ?
Si quelqu'un peut m'éclairer, d'avance merci!