El casero tiene llave de mi habitación

Vivo en una habitación alquilada en. Todos los compañeros pedimos al casero que pusiera cerradura en las habitaciones y aunque le costó accedió. Una vez colocada, dijo que se quedaría una copia por si hay una urgencia. Hemos discutido pero al final se ha quedado una llave. ¿Puede hacer esto? Entendería que pueda tener acceso a zonas comunes porque solo ha alquilado las habitaciones y el resto es derecho de uso, pero no entiendo que tenga derecho a acceder a mi habitación.