Destacan sus trabajos sobre el movimiento (tanto en cinemática como en dinámica) y lógica.
Durante sus estudios fue alumno de los nominalistas Gaspar Lax y Jean Dullaert de Ghent, los cuales ejercerían notables influencias en las ideas y obras que Celaya escribiría.
También publicó numerosos trabajos sobre filosofía y lógica.
Sus ideas influyeron el desarrollo de la ciencia moderna.
Algunas de sus obras más importantes son: Febrer Romaguera, Manuel, Ortodoxia y Humanismo.