Convenio regulador con bebé lactante

Buenas tardes, tengo un bebé de 8 meses con mi marido que sigue tomando el pecho. Tengo otros dos hijos de 16 y 13 años de otra relación , yo tengo su custodia y mi marido tiene un niño de 6 años de su anterior relación y no es el progenitor custodio. Cada vez que le ha lo a mi marido del divorcio me dice que me vaya yo de casa, casa de los dos con hipoteca a medias. Puede un juez admitir que me vaya yo con mis tres hijos? Y cómo sería el convenio regulador con mi bebé?, yo no quiero una compartida, el creo que tampoco , sobre todo pq no tiene horario en el trabajo pero me da miedo que por hacerme daño lo intente . Yo trabajo de 8 a 3 y me coincide bien el llevarla a la guardería pero trabajo 3 fines de semana al mes y al igual que el no tengo a nadie que me pueda echar una mano, solo a mis hijos.