La ex de mi pareja quiere que su hijo viva con su padre

Mi pareja tiene 2 hijos con su ex. Ella tiene la custodia absoluta y él le paga puntualmente la pension de manutencion. Ella siempre se ha interpuesto y no quiso nunca que, en los 10 años que llevamos juntos, sus hijos vieran a su padre (siempre habia disculpas: no estan en casa, estan castigados, estan estudiando, estan con los amigos. Sabemos que es mentira porque les veíamos asomandose a las ventanas para ver como nos ibamos.
Ahora, cuando el hijo es mayor de edad (18 años) Ella lo ha echado de casa por mal comportamiento y pretende "que ya que es su padre se haga cargo de él y se lo lleve con él a vivir".
Se vendria a vivir a mi casa, un apartamento de una sola habitación. No tenemos el minimo trato (yo le conozco por fotografia).
El chico es un NINI, ni estudia ni trabaja. Tiene mal comportamiento (lo han echado de 2 institutos por hacer bulying a los compañeros) y esta empezando con los porros.
Yo estoy pendiente de hacerme cargo de mi madre anciana (86 años) y No puedo hacerme cargo de este chaval. No es mi hijo, pero es mi casa, donde vive su padre.
No sé como resolver este problema. ¿Alguna sugerencia a nivel legal? Gracias