Mesa de la izquierda Abstracto y 1.- Introducción y trabajo relacionado 
 
 
 
 
 
 
 
 
 
 
 Methodology 2.1 LLM-Sim Task 2.2 Data 2.3 Evaluation 
 
 Experiments 
 
 Results 
 
 Conclusion 
 
 Limitations and Ethical Concerns, Acknowledgements, and References A. Detalles del modelo Ejemplos de juegos de transición Generación de reglas del juego D. Prompto E. Resultados de GPT-3.5 F. Histogramas Los detalles del modelo Para el modelo GPT-3.5, utilizamos el modelo gpt-3.5-turbo-0125. Para el modelo GPT-4, utilizamos el modelo de previsión gpt-4-0125. Para ambos modelos, la temperatura se establece en 0 para obtener resultados deterministas. También activamos el modo JSON de ambos modelos, que asegura que el modelo da una respuesta JSON válida. Nuestros experimentos cuestan aproximadamente $5,000 para el uso de la API OpenAI. Ejemplos de juegos de transición Seleccionamos manualmente el juego de lavado de ropa en BYTESIZED32 como el juego de ejemplo, ya que contiene tanto transiciones de estado impulsadas por acciones como la dinámica subyacente del juego. En tareas donde el modelo predice transición de acción, transiciones impulsadas por el medio ambiente o el progreso del juego solo, proporcionamos un ejemplo correspondiente en contexto. En la tarea que requiere que el modelo predija todo, ofrecemos dos ejemplos en contexto en el prompt. Los dos ejemplos se seleccionan manualmente de forma que en un ejemplo el estado del juego se cambie directamente por la acción tomada mientras que en el otro ejemplo el estado del juego se cambia por la dinámica subyacente del juego. La generación de reglas del juego C C.1 LLM generated rules Para las reglas generadas por LLM, las revisamos manualmente para evitar la desinformación y el contenido ofensivo. Pedimos a GPT-4 (gpt-4-0125-preview) con el código de cada clase de objeto para adquirir las reglas de cada objeto. También proporcionamos un ejemplo en contexto. Pedimos a GPT-4 para describir el significado de cada propiedad crítica (es decir, propiedades que no heredan de la madre) del objeto y la función de tick del objeto (es decir, una función que define cómo las propiedades del objeto pueden cambiar en cada paso, independientemente de la acción tomada). Para la generación de reglas de acción, pedimos a GPT-4 (gpt-4-0125-preview) con el código de todo el juego, pero a diferencia de las reglas de objeto, no ofrecemos ningún ejemplo en el contexto. Pedimos a GPT-4 que describa cada una de las acciones en el juego. Al igual que las reglas de acción, generamos reglas de puntuación al solicitar GPT-4 (gpt-4-0125-preview) con el código del juego y pedir a GPT-4 para describir cómo se puede ganar o perder el juego y cómo se pueden ganar las recompensas. C.2 Human-Written Action Rules Las reglas de acción describen cómo cada acción puede cambiar los estados del juego. El anotador experto lee la descripción del juego y el código fuente para cada juego. Se pasaron a través de la lista de acciones disponibles en el juego y sus funciones correspondientes en el juego. Cada regla de acción tiene tres partes principales: Acción, Descripción y Reglas. La acción especifica el nombre de la acción (por ejemplo, acción). La Descripción explica el propósito general de la acción (por ejemplo, conectar dos objetos con terminales de entrada). Las Reglas son una lista no ordenada de descripciones de reglas que describen las restricciones de la acción cuando interactúa con diferentes objetos (por ejemplo, al menos uno de los objetos debe ser un cable o un multimetro) o cómo la regla podría funcionar en diferentes condiciones (por ejemplo, desconectar si el terminal ya está C.3 Human-Written Object Rules Las reglas de objeto describen el significado de cada propiedad de objeto (por ejemplo, temperatura, tamaño, peso, etc.) y cómo se cambiarán en cada paso del tiempo. Los anotadores expertos leen la descripción del juego y el código fuente para cada juego. Pasaron por las clases de objeto en el guión de código y escribieron las reglas de objeto. Cada regla de objeto tiene tres partes principales: Objeto, Descripción y Propiedades. El Objeto especifica el nombre del objeto. La Descripción explica el propósito general del objeto (por ejemplo, GarbageCan es un contenedor que puede contener basura). En la Descripción, se ha notado la herencia de la clase de objeto. Las Propiedades son una lista de descripciones de propiedades que describen cada propiedad de ese objeto (por ejemplo, un molde tiene su forma.) y su valor C.4 Human-Written Score Rules Las reglas de puntuación describen las condiciones para ganar o perder el juego y cómo se pueden ganar las recompensas.Un anotador experto (uno de los autores del juego BYTESIZED32) crea las reglas leyendo la descripción del juego y el código de la función de puntuación. 
 
 
 
 
 
 
 
 
 Los autores: (1) Ruoyao Wang, Universidad de Arizona (ruoyaowang@arizona.edu); (2) Graham Todd, Universidad de Nueva York (gdrtodd@nyu.edu); (3) Ziang Xiao, Universidad Johns Hopkins (ziang.xiao@jhu.edu); (4) Xingdi Yuan, de Microsoft Research Montréal (eric.yuan@microsoft.com); (5) Marc-Alexandre Côté, Microsoft Research Montréal (macote@microsoft.com); (6) Peter Clark, Instituto Allen para la IA (PeterC@allenai.org). (7) Peter Jansen, Universidad de Arizona y Allen Institute for AI (pajansen@arizona.edu). Authors: (1) Ruoyao Wang, Universidad de Arizona (ruoyaowang@arizona.edu); (2) Graham Todd, Universidad de Nueva York ( ) ; Página oficial@nyu.edu (3) Ziang Xiao, Universidad Johns Hopkins (ziang.xiao@jhu.edu); (4) Xingdi Yuan, de Microsoft Research Montréal (eric.yuan@microsoft.com); (5) Marc-Alexandre Côté, Microsoft Research Montréal (macote@microsoft.com); (6) Peter Clark, Instituto Allen para la IA (PeterC@allenai.org). (7) Peter Jansen, Universidad de Arizona y Allen Institute for AI ( ) de Encuentros@arizona.edu 
 
 Este artículo está disponible en archivo bajo la licencia CC BY 4.0. Este documento es bajo la licencia CC BY 4.0. Disponible en Archivo Disponible en Archivo

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

AI Models on HackerNoon

Este audio es producido en el idioma original de la historia!

Test de GPT-4 sobre predicciones del estado del juego

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Telegram: el puente de Crypto Island hacia el continente

Creación de productos criptográficos centrados en el usuario: la importancia de los comentarios de los clientes

Liberando el poder de la IA. Una revisión sistemática de técnicas de vanguardia: resumen e introducción

Valhalla de Floki se une como patrocinador asociado de la gira de la India por Sri Lanka

Telegram: el puente de Crypto Island hacia el continente

Creación de productos criptográficos centrados en el usuario: la importancia de los comentarios de los clientes

Liberando el poder de la IA. Una revisión sistemática de técnicas de vanguardia: resumen e introducción

Valhalla de Floki se une como patrocinador asociado de la gira de la India por Sri Lanka

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps