O raciocínio matemático sempre foi uma fronteira desafiadora para a inteligência artificial. Embora modelos de linguagem como   e ChatGPT tenham alcançado um desempenho impressionante em muitas tarefas linguísticas, eles ainda lutam para resolver problemas matemáticos complexos de nível universitário com precisão. Dominar capacidades sofisticadas de raciocínio matemático poderia desbloquear aplicações de IA em diversos campos, como ciência, engenharia, finanças e muito mais. GPT-3  Recentemente, pesquisadores da Universidade de Tsinghua e   fizeram progressos significativos no fortalecimento das habilidades de raciocínio matemático de grandes modelos de linguagem. Sua principal inovação técnica (  ) está integrando ferramentas matemáticas externas, como bibliotecas computacionais e solucionadores de equações simbólicas, diretamente no processo de raciocínio dos modelos. da Microsoft   apresentado aqui  Vamos ver como isso funciona!  O problema: por que a matemática continua difícil para modelos de linguagem  Tarefas como cálculo numérico e álgebra básica podem ser razoavelmente bem realizadas pelos modelos existentes. No entanto, a resolução de problemas matemáticos complexos envolvendo inferência em várias etapas, manipulações simbólicas e conceitos abstratos permanece problemática.  Por exemplo, os modelos muitas vezes não conseguem resolver problemas de álgebra que exigem a identificação de variáveis, o estabelecimento de sistemas de equações e a formalização matemática de relações descritas verbalmente no texto. A geometria apresenta desafios devido à necessidade de habilidades de raciocínio espacial. Os exercícios de matemática do ensino médio e universitário também introduzem conceitos como provas, integrais, matrizes e muito mais que confundem os modelos de linguagem existentes.   Os pesquisadores atribuem essas dificuldades a dois fatores principais:    : os modelos de linguagem hoje são treinados principalmente em corpora de texto da Internet. Embora isto ensine competências linguísticas, não fornece o conhecimento estruturado e a lógica necessários para o raciocínio matemático. Falta de capacidades de raciocínio abstrato    : a linguagem carece do rigor e da precisão necessários para manipular símbolos matemáticos. Os modelos podem cometer pequenos erros em cada etapa que se acumulam em problemas de várias etapas. Incapacidade de realizar cálculos simbólicos  Raciocínio Integrado em Ferramentas: Um Novo Paradigma de Treinamento  Para enfrentar esses desafios, os pesquisadores propõem o ensino de modelos de linguagem para raciocinar em um formato que eles chamam   . A principal inovação é intercalar os fundamentos da linguagem natural gerados pelo modelo com o código para invocar ferramentas matemáticas externas. de Raciocínio Integrado em Ferramentas  Por exemplo, dado um problema complexo de palavras de álgebra, o modelo pode primeiro descrever a abordagem em palavras, depois escrever um programa Python usando SymPy para configurar simbolicamente o sistema de equações, executá-lo para obter uma solução e, finalmente, explicar o resultado verbalmente.  Isto complementa os pontos fortes dos modelos de linguagem no raciocínio e planejamento de alto nível com a precisão e o poder computacional das ferramentas matemáticas. Eles antecipam que isso poderia melhorar significativamente a capacidade dos modelos de resolver problemas que exigem compreensão semântica e manipulação simbólica.  Metodologia de treinamento: aprendizagem por imitação a partir de exemplos de interação com ferramentas  Para concretizar esta visão, os investigadores tiveram primeiro de criar um conjunto de dados que demonstrasse o raciocínio integrado em ferramentas sobre problemas matemáticos. Eles aproveitaram os recursos do GPT-3 para gerar automaticamente 16.000 exemplos do próprio GPT-3, resolvendo problemas dos conjuntos de dados GSM8k e MATH enquanto interagiam com ferramentas como SymPy.  Com esse corpus de trajetórias de interação de ferramentas, a equipe pré-treinou versões do modelo LLaMA usando aprendizagem por imitação. Ou seja, os modelos foram treinados para prever o comportamento de uso da ferramenta e os raciocínios de linguagem natural intercalados demonstrados no conjunto de dados.  Essa abordagem produziu uma série de agentes de   de   aberto (TORA) integrados     , variando de 7 bilhões a 70 bilhões de parâmetros. raciocínio código em ferramentas  Melhorias significativas de desempenho em raciocínio matemático  Os pesquisadores avaliaram sistematicamente os modelos TORA em 10 conjuntos de dados de raciocínio matemático diversos e compararam o desempenho com técnicas de última geração anteriores.  Os resultados demonstram que o treinamento de raciocínio integrado a ferramentas produz ganhos substanciais em todos os tamanhos e tarefas de modelos:  Os modelos TORA alcançaram, em média   em comparação com os melhores modelos de código aberto existentes. , uma precisão 13-19% maior  Em um teste desafiador de matemática em nível de competição (conjunto de dados MATH), o TORA-7B obteve   , superando o melhor modelo anterior em 22 pontos percentuais. 40% de precisão  O TORA-34B atingiu   no MATH, superando o desempenho do GPT-4 de 43% nos mesmos problemas. 51% de precisão  Isto sugere que aprender a aproveitar ferramentas externas poderia melhorar notavelmente até mesmo modelos muito grandes como o GPT-4 no raciocínio matemático.  Curiosamente, as melhorias foram consistentes em diversos tipos de problemas, abrangendo aritmética, álgebra, cálculo, geometria, probabilidade, etc. A integração de ferramentas parece proporcionar amplos benefícios.  A análise revela pontos fortes complementares da linguagem e das ferramentas  Para entender melhor o comportamento do modelo, os pesquisadores analisaram sistematicamente os padrões de uso de ferramentas em domínios matemáticos:  Para problemas de álgebra, os modelos usavam predominantemente ferramentas simbólicas como SymPy para manipular equações. Isto está bem alinhado com a necessidade de cálculos simbólicos rigorosos e precisos.  Em domínios numéricos como probabilidade, os modelos dependiam mais de algoritmos para cálculos como fatoriais.  Para a geometria, a aplicação de ferramentas proporcionou ganhos menores, indicando que o raciocínio espacial continua sendo um desafio.  Eles também avaliaram as ablações removendo os fundamentos da linguagem natural ou a integração de ferramentas:  A interação com ferramentas superou consistentemente os modelos usando apenas programação ou apenas linguagem natural em todos os tipos de problemas.  Os raciocínios forneceram os maiores benefícios para geometria, álgebra e pré-cálculo – domínios que exigem planejamento e raciocínio de alto nível.  Esses insights iluminam os pontos fortes complementares do raciocínio linguístico e simbólico.  Limitações e problemas em aberto  Apesar dos ganhos decorrentes da integração de ferramentas, ainda há espaço significativo para melhorias. Os pesquisadores identificaram a geometria e a álgebra avançada como áreas onde os modelos ainda enfrentavam dificuldades.  A geometria representa um desafio, pois ferramentas atuais como o SymPy têm capacidades limitadas para raciocínio espacial. Avanços no raciocínio multimodal e maior integração com bibliotecas gráficas poderiam ajudar.  Para álgebra abstrata, podem ser necessárias técnicas usadas por matemáticos humanos, como aproveitar teoremas conhecidos e resolver problemas de trás para frente a partir do resultado. Provavelmente também serão necessárias capacidades de raciocínio simbólico mais fortes.  No geral, esta pesquisa fornece evidências promissoras de que a combinação dos pontos fortes do modelo de linguagem com ferramentas externas especializadas pode melhorar notavelmente o raciocínio matemático. No entanto, a integração eficiente de diferentes modalidades de raciocínio e estratégias de resolução de problemas matemáticos de nível superior permanece um problema em aberto. Estas são orientações importantes para trabalhos futuros.  O paradigma de formação integrada em ferramentas aqui introduzido também poderia estimular uma investigação sobre a integração de capacidades externas para melhorar o raciocínio em disciplinas como lógica, raciocínio de senso comum e arte. Este poderia ser um passo importante em direção a sistemas de IA mais capazes e versáteis.  Também publicado  aqui.

This story contains new, firsthand information uncovered by the writer.

Tell me why my site sucks so I can make it better. Be mean.

Read My Stories

Este áudio é produzido no idioma original da história!

Explorando o raciocínio integrado por ferramentas: LLMs inovadores com proficiência em matemática

About Author

COMENTARIOS

Rótulos

ESTE ARTIGO FOI APRESENTADO EM

Related Stories

Vazamento do prompt do sistema Claude Sonnet 3.5: uma análise forense

Aumente sua produtividade com estas 18 ferramentas para desenvolvedores 🚀🔥

Quer ganhar um concurso de redação do HackerNoon? Aqui está o que os vencedores do concurso #crypto-api recomendam

Liberando o poder da IA. Uma revisão sistemática de técnicas de ponta: resumo e introdução

Vazamento do prompt do sistema Claude Sonnet 3.5: uma análise forense

Aumente sua produtividade com estas 18 ferramentas para desenvolvedores 🚀🔥

Quer ganhar um concurso de redação do HackerNoon? Aqui está o que os vencedores do concurso #crypto-api recomendam

Liberando o poder da IA. Uma revisão sistemática de técnicas de ponta: resumo e introdução

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps