En 1869, se trasladó a Berlín, donde continuó sus estudios en el Conservatorio Stern con Eduard Franck en interpretación pianística y con Friedrich Kiel en composición.
Allí conoce a los hermanos Xaver y Philipp Scharwenka, con los que mantendrá una fuerte amistad de por vida.
En 1873, programó su primer concierto como solista en Berlín, que obtuvo una acogida entusiasta por parte de público y crítica, iniciando así una amplia carrera como concertista por las principales ciudades europeas.
En 1875 organiza junto con Philipp Scharwenka una actuación en la que Moszkowski interpretará la parte solista de un concierto escrito por él mismo.
Durante los siguientes veinte años fija su residencia en Berlín, donde prosigue su labor docente, pero viaja con frecuencia por toda Europa dando conciertos no sólo como pianista, sino también como director de orquesta.