stringtranslate.com

Paul Christiano (investigador)

Paul Christiano es un investigador estadounidense en el campo de la inteligencia artificial (IA), con un enfoque específico en la alineación de la IA , que es el subcampo de la investigación de seguridad de la IA que tiene como objetivo orientar los sistemas de IA hacia los intereses humanos. [1] Anteriormente dirigió el equipo de alineación de modelos de lenguaje en OpenAI y se convirtió en fundador y director del Centro de Investigación de Alineación (ARC) sin fines de lucro, que trabaja en la alineación teórica de la IA y las evaluaciones de modelos de aprendizaje automático . [2] [3] En 2023, Christiano fue nombrado como una de las 100 personas más influyentes en IA de TIME ( TIME 100 AI). [3] [4]

En septiembre de 2023, Christiano fue designado miembro del consejo asesor del grupo de trabajo sobre inteligencia artificial de frontera del gobierno del Reino Unido. [5] También es fideicomisario inicial del fideicomiso de beneficios a largo plazo de Anthropic . [6]

Educación

Christiano asistió a la Escuela Harker en San José, California. [7] Compitió en el equipo de EE. UU. y ganó una medalla de plata en la 49.ª Olimpiada Internacional de Matemáticas (OIM) en 2008. [7] [8]

En 2012, Christiano se graduó en el Instituto Tecnológico de Massachusetts (MIT) con un título en matemáticas. [9] [10] En el MIT, investigó estructuras de datos, criptografía cuántica y optimización combinatoria. [10]

Luego completó un doctorado en la Universidad de California, Berkeley . [11] Mientras estaba en Berkeley, Christiano colaboró ​​con la investigadora Katja Grace en AI Impacts, co-desarrollando una metodología preliminar para comparar supercomputadoras con cerebros, usando bordes atravesados ​​por segundo (TEPS). [12] También experimentó con poner en práctica la teoría de lotería de donantes de Carl Shulman , recaudando casi $50,000 en un fondo para ser donados a una sola organización benéfica. [13]

Carrera

En OpenAI, Christiano fue coautor del artículo "Deep Reinforcement Learning from Human Preferences" (2017) y otros trabajos que desarrollan el aprendizaje de refuerzo a partir de la retroalimentación humana (RLHF). [14] [15] Se le considera uno de los principales arquitectos de RLHF, [3] [6] que en 2017 fue "considerado un notable paso adelante en la investigación de seguridad de la IA", según The New York Times . [16] Otros trabajos como "AI safety via debate" (2018) se centran en el problema de la supervisión escalable : supervisar las IA en dominios donde los humanos tendrían dificultades para juzgar la calidad de los resultados. [17] [18] [19]

Christiano dejó OpenAI en 2021 para trabajar en cuestiones más conceptuales y teóricas en la alineación de la IA y posteriormente fundó el Centro de Investigación de Alineación para centrarse en esta área. [1] Un tema de estudio es el problema de obtener conocimiento latente de modelos avanzados de aprendizaje automático . [20] [21] ARC también desarrolla técnicas para identificar y probar si un modelo de IA es potencialmente peligroso. [3] En abril de 2023, Christiano le dijo a The Economist que ARC estaba considerando desarrollar un estándar industrial para la seguridad de la IA. [22]

A partir de abril de 2024, Christiano fue incluido como jefe de seguridad de IA para el Instituto de Seguridad de IA de EE. UU. en el NIST . [23] Un mes antes, en marzo de 2024, miembros del personal y científicos del instituto amenazaron con dimitir al ser informados del nombramiento pendiente de Christiano para el cargo, afirmando que sus vínculos con el movimiento de altruismo eficaz pueden poner en peligro la objetividad e integridad del Instituto de Seguridad de IA. [24]

Opiniones sobre los riesgos de la IA

Christiano es conocido por sus opiniones sobre los riesgos potenciales de la IA avanzada. En 2017, la revista Wired afirmó que a Christiano y sus colegas de OpenAI no les preocupaba la destrucción de la raza humana por parte de "robots malvados", y explicó que "les preocupa más que, a medida que la IA progrese más allá de la comprensión humana, el comportamiento de la tecnología pueda divergir de nuestros objetivos previstos". [25]

Sin embargo, en una entrevista con Business Insider en 2023, que fue ampliamente citada, Christiano dijo que hay una “probabilidad del 10 al 20 % de que la IA tome el control, [con] muchos [o] la mayoría de los humanos muertos”. También conjeturó una “probabilidad del 50 % de que haya una catástrofe poco después de que tengamos sistemas de IA de nivel humano”. [26] [1]

Vida personal

Christiano está casado con Ajeya Cotra de Open Philanthropy . [27]

Referencias

  1. ^ abc "La IA tiene 'una probabilidad del 10 o 20 %' de conquistar a la humanidad, advierte un ex investigador de seguridad de OpenAI". Fortune . Consultado el 4 de junio de 2023 .
  2. ^ Piper, Kelsey (29 de marzo de 2023). «Cómo probar lo que un modelo de IA puede y no debe hacer». Vox . Consultado el 4 de agosto de 2023 .
  3. ^ abcd Henshall, Will (7 de septiembre de 2023). «Paul Christiano, fundador del Alignment Research Center». Revista TIME . Consultado el 16 de noviembre de 2023 .
  4. ^ Sibley, Jess (10 de septiembre de 2023). «El futuro es ahora». Revista Time . Vol. 202, núm. 11/12 . Consultado el 16 de noviembre de 2023 – vía EBSCOHost .
  5. ^ Skelton, Sebastian Klovig (7 de septiembre de 2023). «El grupo de trabajo sobre inteligencia artificial del gobierno designa a nuevos miembros del consejo asesor». ComputerWeekly.com . Consultado el 16 de noviembre de 2023 .
  6. ^ ab Matthews, Dylan (25 de septiembre de 2023). "La apuesta de mil millones de dólares para garantizar que la IA no destruya a la humanidad". Vox . Consultado el 16 de noviembre de 2023 .
  7. ^ ab Kehoe, Elaine (octubre de 2008). «Mathematics People – Olimpiada Internacional de Matemáticas 2008» (PDF) . Sociedad Matemática Estadounidense . Consultado el 16 de noviembre de 2023 .
  8. ^ Feng, Zumin; Gelca, Razvan; Le, Ian; Dunbar, Steven R. (junio de 2009). "NOTICIAS Y CARTAS: 49.ª Olimpiada Internacional de Matemáticas". Revista de Matemáticas . 82 (e): 235–238. doi :10.1080/0025570X.2009.11953629. JSTOR  27765911.
  9. ^ "Paul F. Christiano". Biblioteca digital de la Association for Computing Machinery . Consultado el 16 de noviembre de 2023 .
  10. ^ ab "Acerca de los autores: Teoría de la computación: una revista electrónica de acceso abierto sobre ciencias de la computación teóricas" . Consultado el 16 de noviembre de 2023 .
  11. ^ "Paul Christiano – Investigador asociado". The Future of Humanity Institute . Consultado el 4 de agosto de 2023 .
  12. ^ Hsu, Jeremy (26 de agosto de 2015). «Estimación: el cerebro humano es 30 veces más rápido que las mejores supercomputadoras». IEEE Spectrum . Consultado el 16 de noviembre de 2023 .
  13. ^ Paynter, Ben (31 de enero de 2017). "Arriesgue su caridad y pruebe una lotería de donantes". Fast Company . Consultado el 16 de noviembre de 2023 .
  14. ^ Christiano, Paul F; Leike, Jan; Brown, Tom; Martic, Miljan; Legg, Shane; Amodei, Dario (2017). "Aprendizaje por refuerzo profundo a partir de las preferencias humanas". Avances en sistemas de procesamiento de información neuronal . 30 . Curran Associates, Inc.
  15. ^ Ouyang, Long; Wu, Jeffrey; Jiang, Xu; Almeida, Diogo; Wainwright, Carroll; Mishkin, Pamela; Zhang, Chong; Agarwal, Sandhini; Slama, Katarina; Ray, Alex; Schulman, John; Hilton, Jacob; Kelton, Fraser; Miller, Luke; Simens, Maddie (6 de diciembre de 2022). "Entrenamiento de modelos de lenguaje para seguir instrucciones con retroalimentación humana". Avances en sistemas de procesamiento de información neuronal . 35 : 27730–27744. arXiv : 2203.02155 .
  16. ^ Metz, Cade (13 de agosto de 2017). «Teaching AI Systems to Behave Themselves» (Enseñar a los sistemas de IA a comportarse por sí mismos) . The New York Times . Consultado el 16 de noviembre de 2023 .
  17. ^ Irving, G.; Cristiano, P.; Amodei, Darío (2 de mayo de 2018). "Seguridad de la IA a través del debate". arXiv : 1805.00899 [estad.ML].
  18. ^ Wu, Jeff; Ouyang, Long; Ziegler, Daniel M.; Stiennon, Nissan; Lowe, Ryan; Leike, J.; Christiano, P. (22 de septiembre de 2021). "Resumen recursivo de libros con retroalimentación humana". arXiv : 2109.10862 [cs.CL].
  19. ^ Christiano, P.; Shlegeris, Buck; Amodei, Dario (19 de octubre de 2018). "Supervisar a los estudiantes fuertes amplificando a los expertos débiles". arXiv : 1810.08575 [cs.LG].
  20. ^ Burns, Collin; Ye, Haotian; Klein, Dan; Steinhardt, Jacob (2022). "Descubrimiento de conocimiento latente en modelos lingüísticos sin supervisión". arXiv : 2212.03827 [cs.CL].
  21. ^ Christiano, Paul; Cotra, Ajeya; Xu, Mark (diciembre de 2021). "Obtención de conocimiento latente: cómo saber si tus ojos te engañan". Documentos de Google . Centro de investigación de alineación . Consultado el 16 de abril de 2023 .
  22. ^ "Cómo los modelos generativos podrían salir mal". The Economist . 19 de abril de 2023 . Consultado el 16 de noviembre de 2023 .
  23. ^ "Paul Christiano". NIST.gov . 17 de abril de 2024 . Consultado el 22 de mayo de 2024 .
  24. ^ Goldman, Sharon (7 de marzo de 2024). "Los empleados del NIST se rebelan contra el nombramiento previsto de un investigador de IA 'altruista eficaz' en el Instituto de Seguridad de la IA de EE. UU." VentureBeat . Consultado el 22 de mayo de 2024 .
  25. ^ Newman, Lily Hay (septiembre de 2017). "¿Deberíamos preocuparnos? ¿Se volverá la IA en mi contra?". Wired . Consultado el 16 de noviembre de 2023 .
  26. ^ Nolan, Beatrice. "Exinvestigadora de OpenAI dice que hay un 50% de posibilidades de que el desarrollo de la IA termine en 'desastre'". Business Insider . Consultado el 4 de junio de 2023 .
  27. ^ Piper, Kelsey (junio de 2023). "Una guía de campo para la seguridad de la IA". Revista Asterisk . N.º 3. Consultado el 16 de noviembre de 2023 .

Enlaces externos