Desarrolló su efectivo estilo de dirección y la convirtió en una de las empresas más efectivas en ventas gracias a las tarjetas perforadas que fabricaba.
Estudió un curso en la Elmira School of Commerce.
Posteriormente vendió máquinas de costura e instrumentos musicales Wheeler & Wilcox.
Tras una serie de fracasos empresariales entró a trabajar en la empresa NCR (National Cash Register), que fabricaba cajas registradoras.
Poco antes de su muerte (de un ataque al corazón) entregó el mando de IBM a su hijo mayor Thomas J. Watson Jr., mientras que su otro hijo Arthur K. Watson dirigiría IBM World Trade Corp.