Charles François Xavier Baby (19 de junio de 1794 - 6 de agosto de 1864), era el hijo mayor de François Baby y recibió su educación formal en el Séminaire de Québec antes de dedicarse al negocio.
Charles tuvo una variada carrera en los negocios, encontrando dificultades financieras al menos en tres ocasiones, una de las cuales terminó en quiebra. Había comprado y perdido varias propiedades y también participó en el comercio de madera.
En 1851, parece haber dejado atrás las peores dificultades financieras. Estuvo involucrado en la construcción y mantenimiento de faros para el gobierno. Se convirtió en inversor en el ferrocarril de la costa norte y específicamente en el servicio de remolque y remolcadores. Sus diversos contratos fueron comprados en 1860 por un monto equivalente a tres deudas importantes.
Baby entró en política en 1861, siendo elegido miembro del Consejo Legislativo de la Provincia de Canadá , y sirvió hasta su muerte. Los años de contratos gubernamentales y acuerdos entre bastidores lo habían convertido en un hombre de gran influencia en Quebec.
En agosto de 1831 se casó con Clotilde Pinsoneault, hermana de Pierre-Adolphe Pinsoneault . Fue el primer obispo católico de London, Ontario .