[2]​ En 1949, Patterson empezó a estudiar arte en la Belfast College of Technology donde una compañera le introdujo en la música de Bessie Smith, Jelly Roll Morton y Meade Lux Lewis.

[3]​ En 1951 comenzó a cantas con la Jimmy Compton's Jazz Band y en agosto de 1952 entró a formar parte de la Muskrat Ramblers con Al Watt y Derek Martin.

En el verano de 1954, en unas vacaciones en Londres, Patterson se encontró con Beryl Bryden, que la introdujo en la Chris Barber Jazz Band.

Durante este periodo grabó otro tipo de material como pasajes de Shakespeare (junto Chris Barber) y en 1969 grabó un álbum en solitario 3000 years with Ottilie, ahora muy preciado por los coleccionistas.

En 1964, cantó el tema principal de la películas terror Where has Poor Mickey Gone, protagonizado por Warren Mitchell.