Problème deposit collocation

Bonjour,

Nous vivons depuis le 22/01 chez notre propriétaire qui loue des chambres dans sa maison.
Nous lui avons dit la semaine dernière que nous souhaitions partir fin mai (1 mois de préavis) et qu'il garde le déposit (610) comme dernier mois de loyer. C'est lui qui nous avait parlé de cette procédure à notre arrivée.
Il nous a alors proposer la chambre de quelqu'un d'autre (plus grande..) on a dit que l'on allait réfléchir et lui dire dans les jours à venir. Au moment ou on lui a dit que l'on partais quand même, il nous a dit que finalement il fallait qu'on le paie, qu'il nous rendrait le dépot à notre départ. Que cela ne se faisait jamais ici (alors qu'il le fait pour l'autre personne qui part)et que si on ne le payait pas il appelait la police et changerait les serrures.
Nous n'avons aucune confiance pour notre retour de déposit, on voit bien qu'il n'a pas un sous, qu'il dépense ce qu'il gagne dans la fête et il ne travaille pas.
Il nous a donc proposé ensuite de donner que 300 et il nous rendrait 300.
Que faire soit on part sous ses menaces et l'on perd 610 pounds soit on lui donne 300 et l'on reste au risque de ne pas voir les autres 300 à notre départ???
merci d'avance
melanie et john