Presionado por su padre, se radicó en Madrid, donde inició sus estudios de Ingeniería y trabajó por un tiempo como gerente en la empresa familiar.

Combatió durante la Guerra civil española en el bando republicano y estuvo preso en un campo de concentración en Palencia.

Aparecen así, bajo ese sello editorial, traducciones de Rainer Maria Rilke, Arthur Rimbaud, Paul Éluard o William Blake.

En los años cincuenta se integró en la estética del compromiso (Lo demás es silencio 1952 y Cantos Iberos 1955, verdadera biblia de la poesía social).

Cuando este modelo de poesía social entró en crisis, Celaya volvió a sus orígenes poéticos.