Uso de vivienda en alquiler de mi padre incapacitado, del cual soy tutor legal

Hola, Buenas:
Soy el tutor legal de mi padre que actualmente se encuentra en residencia de mayores, en la Comunidad de Madrid (España). Vivo en el piso de alquiler que figura a su nombre, nuestra casa de toda la vida y en la que estoy empadronado junto a él desde siempre. Mi consulta es si tengo derecho a decidir quién puede vivir o no en la misma vivienda, pues tengo un hermano que se está aprovechando de la situación, dejé que se instalara en nuestra casa y no quiero que continúe viviendo conmigo por muchas razones y no se quiere marchar. Él hace más de 20 años que no vivía aquí ni figura empadronado y nunca se ha preocupado por nuestro padre, ni se hace cargo de ningún gasto además de darme mala convivencia. Me gustaría saber qué podría hacer. Muchas Gracias.