Dépot de garantie

J'ai quitté un appartement que j'avais loué pendant 5 ans.
Mon propriétaire n'avait augmenté le loyer qu'une fois il y a 3 ans et depuis plus aucune augmentation.
2 mois et une mise en demeure aprés avoir quitté l'appart je recois enfin la restitution de mon dépot de garantie (égal à 2 loyers sans les charges)...imputé des soit disantes augmentation de loyers pendant les 3 dernières années (dont le propriètaire ne m'avais jamais fait part d'ailleurs).
Du coup ce que j'ai percu de mon dépot de garantie n'était plus que peau de chagrin...j'étais dégoutté moi qui à toujours été un bon locataire pendant ces 5 années de location (loyer viré automatiquement, appart rendu nickel...).
Est ce que le propriétaire a le droit de faire ca?
Merci pour vos infos.
Greg