Trillion Parameter Consortium (TPC) – Generative AI for Science and Engineering
Se crea el Trillion Parameter Consortium (TPC) para crear modelos de IA generativa confiables y fiables para la ciencia y la ingeniería.
El viernes 10 de noviembre, TPC publicó el siguiente anuncio. La comunidad continúa creciendo y ahora cuenta con más de 500 participantes en el espacio de trabajo de Slack, de casi 70 organizaciones de todo el mundo. Esperamos anunciar socios adicionales en las próximas semanas y meses, a medida que desarrollemos funciones de gobernanza y procesos de membresía.
Se crea el Trillion Parameter Consortium (TPC)
Formación del consorcio Trillion Parameter Consortium (TPC), con docenas de socios fundadores de todo el mundo, para crear modelos de IA generativa confiables y fiables para la ciencia.
Se ha formado un consorcio global de científicos de laboratorios federales, institutos de investigación, el mundo académico y la industria para abordar los desafíos de construir sistemas de inteligencia artificial (IA) a gran escala y promover una IA confiable y fiable para el descubrimiento científico.
Se crea el Trillion Parameter Consortium (TPC), que reúne a equipos de investigadores dedicados a la creación de modelos de IA generativa a gran escala para abordar desafíos clave en el avance de la IA para la ciencia. Estos desafíos incluyen el desarrollo de arquitectura de modelos escalables y estrategias de entrenamiento, organización y curación de datos científicos para modelos de entrenamiento; optimizar las bibliotecas de IA para plataformas informáticas de exaescala actuales y futuras; y desarrollar plataformas de evaluación profunda para evaluar el progreso en el aprendizaje de tareas científicas y la confiabilidad y confianza.
Objetivos
Con estos fines, TPC:
- Construye una comunidad abierta de investigadores interesados en crear modelos de IA generativa a gran escala de última generación destinados en términos generales a promover el progreso en problemas científicos y de ingeniería compartiendo métodos, enfoques, herramientas, conocimientos y flujos de trabajo.
- Incuba, lanza y coordina proyectos de forma voluntaria para evitar la duplicación de esfuerzos y maximizar el impacto de los proyectos en la comunidad científica y de IA en general.
- Crea una red global de recursos y experiencia para facilitar la próxima generación de IA y reunir a investigadores interesados en desarrollar y utilizar IA a gran escala para la ciencia y la ingeniería.
El consorcio ha formado un conjunto dinámico de áreas de trabajo fundamentales que abordan tres facetas de las complejidades de la construcción de modelos de IA a gran escala:
- Identificar y preparar datos de entrenamiento de alta calidad, con equipos organizados en torno a las complejidades únicas de diversos dominios científicos y fuentes de datos.
- Diseño y evaluación de arquitecturas de modelos, rendimiento, entrenamiento y aplicaciones posteriores.
- Desarrollar capacidades transversales y fundacionales como innovaciones en estrategias de evaluación de modelos con respecto a sesgos, confiabilidad y alineación de objetivos, entre otras.
Promover la innovación y los descubrimientos
TP tiene como objetivo brindar a la comunidad un lugar en el que múltiples grandes iniciativas de creación de modelos puedan colaborar para aprovechar los esfuerzos globales, con flexibilidad para adaptarse a los diversos objetivos de las iniciativas individuales. TPC incluye equipos que están emprendiendo iniciativas para aprovechar las plataformas informáticas de exaescala emergentes para entrenar a los LLM (o arquitecturas de modelos alternativos) en investigaciones científicas, incluidos artículos, códigos científicos y datos de observación y experimentales para promover la innovación y los descubrimientos.
Modelos de billones de parámetros representan la frontera de la IA a gran escala y sólo los sistemas de IA comerciales más grandes se acercan actualmente a esta escala.
El entrenamiento de LLM con tantos parámetros requiere recursos informáticos de clase exaescala, como los que se están implementando en varios laboratorios nacionales del Departamento de Energía de EE.UU. (DOE). Incluso con tales recursos, entrenar un modelo de parámetros de un billón de última generación requerirá meses de tiempo dedicado, algo intratable en todos los sistemas excepto en los más grandes. En consecuencia, dichos esfuerzos involucrarán grandes equipos multidisciplinarios y multiinstitucionales. TPC se concibe como un vehículo para apoyar la colaboración y los esfuerzos cooperativos entre y dentro de dichos equipos.
Creación de conocimiento
“En nuestro laboratorio y en un número cada vez mayor de instituciones asociadas en todo el mundo, los equipos están comenzando a desarrollar modelos de inteligencia artificial de vanguardia para uso científico y están preparando enormes colecciones de datos científicos previamente no explotados para entrenamiento”, dijo Rick Stevens, director asociado del laboratorio de informática, medio ambiente y ciencias de la vida en el Argonne National Laboratory del DOE y profesor de informática en la Universidad de Chicago. “Creamos TPC en colaboración para acelerar estas iniciativas y crear rápidamente el conocimiento y las herramientas necesarias para crear modelos de IA con la capacidad no solo de responder preguntas de dominios específicos, sino de sintetizar el conocimiento en todas las disciplinas científicas”.
Los socios fundadores y los puntos de contacto se enumeran aquí. Para obtener más información y solicitar acceso al espacio de trabajo de Slack, utilice este formulario.
Leído en:
Trillion Parameter Consortium (TPC) – Generative AI for Science and Engineering