Bail résilié mais caution non rendue

"Le propriétaire n'est jamais allé récuperer le courrier recommandé envoyé le 18 août mais il était au courant car nous l'avions d'abord prévenu par mail."

Ce qui ne change rien au fait que le préavis n'est pas valable, en application stricte de l'article 25-8 de la loi de 1989 sur les congés (meublé).

"alors qu'à partir du 2 septembre nous avions déjà rendu les clés)"

Ce qui ne change à nouveau rien, toujours selon cet article 25-8, la remise des clés ne met pas fin au paiement du loyer qui reste dû jusqu'à l'échéance du préavis.

"L'appartement a été reloué dans la foulée."

Ce point par contre, si vous pouvez le prouver, est intéressant, car ce même article 25-8 précise que l'obligation de paiement du loyer cesse soit à l'échéance du préavis, soit à l'arrivée d'un nouveau locataire.
 

"Mais nous avons un écrit daté du 2 septembre et signé par toutes les parties de fin de contrat. "

Ce qui, à défaut de préavis valide, vaut point de départ du préavis de 1 mois mais ne vaut en aucun fin des obligations de paiement de loyer du locataire, le loyer restant dû jusqu'à l'échéance du préavis.
[Edit : Enfin, ça dépend en fait comment il est rédigé. Si le bailleur confirme sans ambiguïté de la fin des obligations du locataire à cette date, ça peut valoir fin de loyer. Mais c'est plus probablement juste un papier attestant de la libération des lieux et remise des clés, ce qui ne changerait rien à l'obligation de respecter le délai de préavis]

"Est-il dans son droit?"

De ce que vous dites non, il ne peut vous demander un loyer additionnel que pour la période allant de la remise des clés à l'arrivée du nouveau locataire.


Source : Article 25-8 loi 1989 (meublé) :

"I. ― Le locataire peut résilier le contrat à tout moment, sous réserve du respect d'un préavis d'un mois, y compris lorsque la durée du bail est réduite à neuf mois.
[...]
Le congé doit être notifié par lettre recommandée avec demande d'avis de réception ou signifié par acte d'un commissaire de justice ou remis en main propre contre récépissé ou émargement.
Ce délai court à compter du jour de la réception de la lettre recommandée ou de la signification de l'acte du commissaire de justice ou de la remise en main propre.
[...]
[Le locataire] est redevable du loyer et des charges relatifs à l'intégralité de la période couverte par le préavis si c'est lui qui a notifié le congé, sauf si le logement se trouve occupé avant la fin du préavis par un autre locataire en accord avec le bailleur."

Ou en plus digeste : https://www.service-public.fr/particuliers/vosdroits/F1168