En los siguientes años continuó obteniendo buenos resultados, pero siempre a la sombra del gran dominador Haile Gebrselassie.
Sin embargo al año siguiente Gebrselassie recuperó esta plusmarca haciendo 26:22,75 en Hengelo.
Ese mismo año finalizó también 2.º en la Maratón de Chicago, tras su compatriota Ben Kimondiu.
En Londres volvió a acabar 2.º, por detrás del estadounidense de origen marroquí Khalid Khannouchi, en una prueba en la que este batió la plusmarca mundial con 2h05:38 Tergat llegó solo a 10 segundos del ganador, y su marca de 2h05:48 le colocaba 2º en el escalafón mundial de todos los tiempos.
Paul Tergat y su compatriota Sammy Korir mantuvieron un cerradísimo duelo hasta misma línea de meta.
No transmitió buenas sensaciones durante toda la prueba, y finalmente acabó en el puesto 10.º, muy lejos de las medallas.
Sin embargo una semana antes de la prueba sufrió una contractura muscular que le impidió participar.
Tergat, también se ha distinguido por su apoyo a las causas humanitarias, sobre todo en relación con el hambre en África, algo que él conoce bien, ya que se crio en una familia muy pobre de Kenia.