Abse se crio en el seno de una familia judía en Cardiff, Gales.
Comenzó estudiando medicina en la Universidad de Gales y más tarde en el Hospital de Westminster, y en el King’s College London.
El primer volumen poético de Abse, After every green thing, fue publicado en 1949.
Su trabajo autobiográfico, Ash on a young man’s sleeve, en 1954.
Durante años escribió una columna para el Ham & High, un periódico local.