Era hijo menor del organista y concertino Johann Carl Friedrich Krause.
Como Liszt había estudiado con Carl Czerny, y este, a su vez, con Beethoven, la estirpe pianística de Krause es, por demás, ilustre: Beethoven, Czerny, Liszt, Krause.
En 1904 pasó a Berlín como profesor del Städtisches Konservatorium für Musik (más conocido como Stern'sches Konservatorium, Conservatorio Stern).
Falleció a los 65 años, durante una estancia vacacional.
Entre sus alumnos se destacan el pianista suizo Edwin Fischer, los pianistas chilenos Rosita Renard y Claudio Arrau, y el compositor mexicano Manuel M. Ponce.