En la temporada 1987-88, en una de sus tres etapas en el club, tuvo uno de sus mejores años en la Primeira Liga, disputando 34 partidos y solo siete veces amonestado, aunque el equipo del Miño solo pudo terminar en undécima posición.

En las siguientes temporadas vestiría las camisetas de los equipos portugueses del Beira-Mar, FC Tirsense, Chaves y S. C. Espinho, hasta retirarse en 1999 con 32 años.

En la temporada 2003-04, firma por el Vitória Setúbal con el que logra el ascenso a la Primeira Liga.

Se marchó en noviembre del mismo año de común acuerdo con el club, dejando al equipo en la 12.º posición en Liga.

En noviembre de 2009, firmó por el Sporting CP para reemplazar al despedido Paulo Bento, al que dirigió hasta el final de la temporada, con el Sporting terminando en cuarta posición, 28 puntos por detrás del campeón el S.L.

En la temporada 2019-20, Carvalhal regresó a Portugal para dirigir al Rio Ave FC de la Primeira Liga, llevando al equipo de Vila do Conde a la clasificación para la Europa League en quinto lugar, logrando 55 puntos, la mejor puntuación del equipo en su historia.

En 2021, conquistó la Copa de Portugal con el SC Braga tras derrotar al SL Benfica por dos goles a cero en la final.

[5]​En febrero, y tras haber clasificado al equipo para la Conference League y siendo cuartos en la liga griega, deja el equipo junto con el director deportivo portugués Pedro Alves, con el que había reforzado la plantilla con hasta ocho nuevas incorporaciones en el mercado invernal.

[6]​Nada más tomar las riendas del equipo logra clasificarlo para jugar la Europa League.