Presentación del Trillion Parameter Consortium (TPC) – IA generativa para impulsar el avance de la ciencia y la ingeniería
El Trillion Parameter Consortium (TPC) ha sido testigo de un interés increíble, junto con muchas preguntas sobre los objetivos y operaciones del consorcio. Esta publicación establece el propósito del consorcio y un proceso inicial para aprovechar el impulso y el interés actuales.
Trillion Parameter Consortium (TPC)
Objetivos del Consorcio
A grandes rasgos, el TPC tiene tres objetivos:
- Objetivo 1. Construir una comunidad abierta de investigadores interesados en crear modelos de IA generativa a gran escala de última generación (por ejemplo, Foundation Models, Large Language Models) destinados en términos generales a promover el progreso en problemas científicos y de ingeniería, compartiendo métodos, enfoques, herramientas, conocimientos y flujos de trabajo.
- Objetivo 2. Incubar, lanzar y facilitar la coordinación y colaboración en proyectos para construir modelos específicos en sitios específicos, esforzándose por evitar la duplicación innecesaria de esfuerzos y maximizar el impacto de los proyectos en la comunidad científica y de IA en general. Cuando sea posible, trabajaremos en lo que podemos hacer juntos para lograr la máxima influencia frente a lo que se debe hacer en grupos más pequeños.
- Objetivo 3. Crear una red global de recursos y experiencia que pueda ayudar a facilitar la formación de equipos y la capacitación de la próxima generación de investigadores en IA y campos relacionados, particularmente aquellos interesados en el desarrollo y uso de IA a gran escala para el avance de la ciencia y la ingeniería.
Comunidad objetivo
El objetivo principal del consorcio es reunir a grupos interesados en construir, entrenar y utilizar modelos a gran escala con aquellos que construyen y operan sistemas informáticos a gran escala.
La comunidad objetivo abarca:
- aquellos que trabajan en el desarrollo de métodos de IA, procesamiento de lenguaje natural/enfoques y arquitecturas multimodales, implementaciones completas, bibliotecas y marcos escalables, flujos de trabajo de IA, agregación, limpieza y organización de datos, tiempos de ejecución de entrenamiento, evaluación de modelos y adaptación posterior, alineación, etc.;
- aquellos que diseñan y construyen sistemas de hardware y software; y
- aquellos que en última instancia utilizarán los sistemas de IA resultantes para atacar una variedad de problemas en la ciencia, la ingeniería, la medicina y otros dominios.
Lo que no se está intentando hacer
No se está tratando de controlar qué proyectos los grupos deciden emprender, y no se está tratando de determinar quién colabora con quién. Tampoco se recomiendan plataformas o enfoques específicos.
Qué se está tratando de hacer
Compartir experiencias, herramientas, datos y códigos cuando corresponda y con pleno consentimiento de los participantes; facilitar que los investigadores con intereses comunes se encuentren y colaboren; y abogar por las mejores prácticas en el desarrollo y evaluación responsable de la IA donde se puedan identificar dichas prácticas y donde exista consenso.
Modelo operativo
Se espera que el consorcio participe en varios tipos de actividades dependiendo de los intereses de los participantes, pero probablemente incluyan:
- Facilitar reuniones y hackathons dirigidos a objetivos específicos que respalden uno o más proyectos de socios (por ejemplo, agregar, limpiar y seleccionar datos de entrenamiento, diseñar una arquitectura de modelo escalable para una plataforma de destino determinada, colaborar en estudios y suites de evaluación de modelos a gran escala, realizar evaluaciones comparativas y compara modelos).
- Organizar seminarios (virtuales y presenciales) y visitas a sitios relacionados con futuras direcciones de investigación y problemas abiertos en la construcción y evaluación de sistemas de IA a gran escala para la ciencia y la ingeniería.
- Trabajar juntos para generar documentos técnicos u otros materiales para ayudar a defender y explicar la necesidad de sistemas avanzados de IA optimizados para casos de uso científicos y de ingeniería.
- Identificar y promover oportunidades para estudiantes visitantes, postdoctorados e investigadores para actividades relacionadas, escuelas de verano o trabajos relacionados con proyectos destinados a la IA a gran escala para la ciencia y la ingeniería.
- Colaborar para proponer, asegurar y gestionar asignaciones de tiempo de máquina para proyectos grupales que abarcan uno o más sitios.
Gobernanza
A medida que se inicie el consorcio, se buscarán personas que tengan interés en ayudar a liderar, coordinar y gestionar las actividades. Se creará un Comité Directivo compuesto por un representante de cada institución participante que tenga interés en ayudar a nuclear actividades y ayudar a avanzar los esfuerzos.
También se espera crear grupos de trabajo en torno a temas clave para hacer avanzar la agenda. Dependiendo de cuántos esfuerzos de desarrollo de modelos específicos se lancen, estos grupos de trabajo pueden participar en uno o múltiples esfuerzos de desarrollo y/o evaluación de modelos. A medida que determinemos cómo quiere operar el grupo, planearemos trabajar con todos para desarrollar una estructura de gobierno que funcione.
Permanezca en contacto:
Únase al TPC Slack Workspace
Contribuya a través de la GitHub TCP-AI Org