Empadronamiento con los abuelos

Hola, en mi caso nos separemos hace ya casi 2 años, estábamos de alquiler y cada uno se fue a casa de sus padres, al niño lo empadronemos en my casa porque mis padres tienen piso propio y es donde se a criado el niño, en casa de ella es piso de alquiler y su familia es casi nula, la única ayuda que tiene es la hermana, tenemos custodia compartida y nos llevamos "bien" por el niño.
El caso es que yo voy a tener una niña ahora con my actual pareja y me tengo que empadronar en su casa, la pregunta es, que hago con el empadronamiento de my hijo? Vive una semana con ella y una semana con nosotros en el piso de my pareja, my intención es dejarlo empadronado con mis padres de momento , más que nada porque necesito el consentimiento de my ex para empadronarlo con nosotros y me temo que pondrá problemas o quiera empadronarlo con ella y eso no quiero que pase, que consecuencias puedo tener al dejarlo empadronado con mis padres y yo empadronarme en my domicilio actual? Gracias.