Tony Smith nació en South Orange, Nueva Jersey.

Inicialmente cursó estudios como arquitecto y en 1939 comenzó a trabajar para Frank Lloyd Wright y se interesó en los bloques modulares de hormigón de Wright.

También practicó la pintura como estudiante de tiempo parcial en la Liga de estudiantes de arte de Nueva York pero no comenzó a esculpir sino hasta 1956 cuando tenía 44 años de edad.

Sus primeras exposiciones las realizó en 1964.

Es especialmente conocido por sus esculturas de estilo minimalista.