¿Cómo dejo que el papá de mi bebe no lo vea?

Ya no quiero que el papá de mi bebé lo vea porque en realidad nunca me ha ayudado establemente con mi hijo. Él se hizo responsable hasta que mi bebé tenia 6 meses después hablamos y nos juntamos pero después me trataba mal tanto como el y su familia. Él no me daba dinero a mi se lo da a a su mamá. Él me pegaba porque le encontraba mensajes de su amante yo le peleaba y él para que me callara me golpeaba y todo eso lo hacía enfrente de mi hijo. Mi bebé miraba eso lloraba yo lo mejor que hice es salirme. A parte el ambiente de su casa no es nada bueno para mi hijo mi ex suegro es una persona que siempre toma y llega borracho y se pelea todos los días con mi ex suegra y eso lo mira mi hijo. Ahora que me separé yo quiero reservar mi vida pero él me amenaza que yo fui la de la infidelidad pero no es así, tengo amigos si pero el se deja llevar por su mamá, ella le decía que yo lo engañaba y él le creía eran puros problemas así que me alejé de el y su familia. Ahora regresa a decirme que me quiere quitar a mi hijo que me va a casar de adulterio y eso no es verdad si tengo a mi pareja pero yo ya no tenia nada con él cuando empecé mi otra relación. Ahora me encuentro en mi casa para que si el me pelea a mi hijo no tenga ningún tipo de problema para que me quiten a mi hijo pero lo que quiero es arreglar esta situación para poder reservar mi vida ¿cómo le puedo hacer las llevo de ganar o perder?