En 1993 obtuvo la licenciatura en ingeniería electrónica en la Katholieke Universiteit Leuven.
Posteriormente, estudió su doctorado en el laboratorio de ESAT/COSIC de la misma universidad (COSIC significa seguridad en ordenadores y criptografía industrial).
Después de su doctorado trabajó en el laboratorio COSIC, colaborando en muchas ocasiones con Joan Daemen.
Uno de sus proyectos comunes resultó en el algoritmo Rijndael, que en octubre de 2000 fue seleccionado por el NIST para convertirse en el Advanced Encryption Standard.
Entre 2001 y 2003, Rijmen fue profesor visitante en la Graz University of Technology (Austria), llegando a ser profesor a tiempo completo a partir de 2004.