Você já se perguntou como os gerentes de circo conseguem ursos para equilibrar uma bola, ou um tigre para saltar através de saltos em chamas? A resposta: reforço. Os tigres geralmente não saltam através de saltos em chamas, mas eles vão se você lhes dar um pedaço saboroso de carne toda vez que ele faz. Finalmente, um tigre aprende que, a fim de obter a comida, ele deve realizar os saltos ousados, e assim faz de forma hábil e consistente. Os humanos aprendem de maneiras semelhantes: aprendemos a comer comida saudável, exercício, e estudar duro para ganhar algo positivo, seja uma explosão de dopamina, dinheiro, e sucesso. Este fenômeno, em que um humano (ou praticamente qualquer outro animal) aumenta um comportamento específico depois que eles são recompensados de alguma forma por detalhou como “Q Learning” poderia ajudar a tornar os algoritmos adaptáveis a um ambiente complexo, mas não foi até o Não é exagero dizer que, ao longo de uma década, o Reinforcement Learning, ou RL para resumir, mudou o mundo, e continuará a fazê-lo por um bom tempo. Documentos dos anos 90 Relatório de Pesquisa de 2013 Documentos dos anos 90 Relatório de Pesquisa de 2013 Wisdom Comes from Within Em 1938, o psicólogo B. F. Skinner “condicionamento operante” para descrever como os organismos podem aumentar sua propensão a realizar certas ações voluntárias usando um processo chamado Ele descobriu que, se uma ação (como, no seu caso, um rato pressionando uma alavanca) foi reforçada por algo positivo (ele usou comida e água), é provável que seja repetida novamente. por algo prejudicial (a dor de queimar), foi Por mais simples que este processo seja, a humanidade como a conhecemos não seria a mesma sem ela.Imagine o mundo se todas as crianças pequenas tivessem dificuldade em aprender que você não deveria fazer as coisas que sempre levam você a se machucar! Conheça o termo Reforço Punição Menos Conheça o termo Foi esta simples verdade que levou Christopher Watkins a desenvolver seu Se os seres humanos e os animais pudessem aprender através do reforço, por que as máquinas não poderiam? O processo pelo qual um agente aprende através de interações com um ambiente limitado. propôs que, em qualquer ambiente, o objetivo de um agente de Q Learning é desenvolver uma Através da correlação Para entender isso, tome o exemplo de um videogame onde você tem que passar por várias portas, com cada porta sendo bloqueada pela senha de um único dígito aleatório. , ou o comportamento que o agente realiza, seria o número que o agente adivinha em cada porta, e o , ou o ambiente ao redor do agente, seria a porta em que o agente está. Uma recompensa pode ser uma grande (talvez por terminar um nível) ou uma pequena (por completar um único portão). , ou uma situação específica onde uma ação está associada a um estado, em seguida, execute um algoritmo de maximizacao simples para preferir os pares memorizados de estado-ação que levaram a uma recompensa alta. 1989 Ph. D. Tese Q Ensino Política Acção-Estado Pairs Ação Estado Recompensa PAIROS DE ACÇÃO 1989 Ph. D. Tese Então, um possível par de ações de estado seria escolher “4” na segunda porta. Outra seria escolher “6” na segunda porta, embora esta escolha provavelmente leve a uma recompensa muito menor, uma vez que é o número errado para a segunda porta. Digamos que a recompensa por passar a sexta porta é 1, e que cada porta adicional passada (não incluindo a sexta) dá uma recompensa de 0,2. Um agente de aprendizagem Q precoce provavelmente teria tentado os dígitos 1-9 na primeira porta, a segunda porta, e assim por diante. Ele faria isso até tentar todos os possíveis resultados de pares de valores de estado e receber todas as recompensas para cada combinação desses pares. Ele então se resolveria para a série de dígitos levando à recompensa mais alta, que, como podemos dizer, é a combinação correta 5-4 , uma variável proposta que denotaria a recompensa resultante de um par de ação-valor específico.Ao aprender a maximizar o valor Q, Watkins hipotetizou, os modelos serão capazes de tomar decisões ótimas em um ambiente não probabilístico. Q Valores DeepMind Steps In Em 2013, pesquisadores do laboratório de pesquisa de IA DeepMind publicaram o que se tornaria uma Seu trabalho marca a introdução de um dos tipos mais importantes do que se tornaria conhecido como Reinforcement Learning (RL) modelos: Os pesquisadores reconheceram a capacidade de usar o Q Learning para treinar agentes, mas notaram que o sistema de Watkins tinha alguns problemas. Os possíveis pares de estado-ação não funcionariam em jogos complexos com milhões de combinações de decisões.Em segundo lugar, as funções de maximização simples não funcionariam, uma vez que os jogos mais complexos tendem a ter Suponhamos que a recompensa de um jogo de labirinto é definida pelo comprimento que um jogador atravessa no total em direção ao objetivo.Se o primeiro par de Q Value que o agente RL de Watkin descobre é um fim morto, ele continuará a visitar esse fim morto porque não sabe melhor. Cartão Landmark Rede Deep-Q Todos Localização maximizada Cartão Landmark A equipe do DeepMind resolveu ambos os problemas de forma inteligente.Para mitigar o custo computacional de executar todas as opções, eles introduziram o Este método, nomeado após a letra grega epsilon (Ɛ), equilibra as de sempre ir atrás da maior recompensa conhecida com um A ideia é que, em cada estado, o agente terá uma chance Ɛ de explorar (escolher uma das ações aleatoriamente) e uma chance de 1 - Ɛ de seguir o valor máximo Q como ditado pela política gananciosa. Se você não estiver em explicações formais, isso basicamente significa que o modelo terá uma probabilidade definida de tentar novas ações de vez em quando, um comportamento útil que economizará muito tempo, concentrando-se na maximização (de modo que pares de ações de estado menos valiosos possam ser ignorados) ao mesmo tempo que também permite flexibilidade na tomada de decisão (de modo que o agente não fique preso às máximas locais). Epsilon-Greedy em Políticas de ganância Política de exploração Então, houve o problema da avaliação.Se o agente ainda está no processo de terminar um jogo, por exemplo, como ele saberá que certas ações levarão diretamente a um resultado melhor? do seu claping. bem, o agente deve A DeepMind introduziu uma nova maneira do que eles chamam de “quebrar a correlação” entre o estado-ações pares com o A Rede Q é basicamente um modelo compacto de Machine Learning dentro do DQN completo.O único trabalho da Rede Q é aprender com as experiências do agente e, dado um estado, Voltando ao nosso exemplo com portas e senhas, uma rede Q bem treinada produzirá um valor Q mais elevado para a ação de adivinhar o número correto em cada porta, em vez de adivinhar um número incorreto. , a rede é capaz de ser treinada em um lote de dados que o agente recebe do ambiente, e é assim capaz de ajustar seus pesos para prever melhor os Valores Q e, assim, ser mais eficaz no "conselho" que dá ao agente. Porque Previsão A rede Q. Previsão Experiência Replay All the World’s a Game… O Reinforcement Learning na sua forma mais pura teve muitos avanços.A DeepMind, após sua aquisição pelo Google em 2014, continuou a desenvolver , um dos modelos RL mais famosos de todos os tempos. Treinado usando um modelo de distribuição de probabilidade aprimorado pelo Com o algoritmo (MCTS), a equipe AlphaZero generalizou com sucesso variantes do modelo AlphaZero original para várias outras tarefas complexas, incluindo: AlphaZero Monte Carlo Tree Busca AlphaZero Monte Carlo Tree Busca 
 
 
 
 AlphaGo, que chocou o mundo ao derrotar decisivamente o campeão mundial de Go, Lee Sedol, no que era considerado um dos jogos de tabuleiro mais complexos já feitos. AlphaProof, uma variante dedicada à resolução de problemas matemáticos da Olimpíada operando em provas formalizadas pelo LEAN, obteve um prêmio de prata nos testes de benchmarking da Olimpíada Internacional de Matemática (IMO). A AlphaFold, que ganhou o Prêmio Nobel de Biologia em 2024, alcançou avanços na formação de proteínas, um dos aspectos mais complicados da biologia molecular. O conceito de Reinforcement Learning tem muito a nos ensinar sobre a vida: descobrir o que tem o maior valor, e procurar alcançar esse valor através de ações. Se algo não vai bem, tente outra coisa até que funcione. Os seres humanos muitas vezes ignoram as sutilezas dos próprios sistemas que projetamos, e é por isso que eu amo o Reinforcement Learning tanto. Para algo tão simples e brilhante, seu potencial é confinado pela (ironicamente) natureza da humanidade. Uma das partes mais importantes do processo RL, ou seja, a função de recompensa, é definida por humanos. Olhando para trás para as realizações da equipe AlphaZero, é óbvio que somos o fator limitante no que pode ser feito usando RL. Parecia que, uma vez que AlphaZero poderia resolver quase qualquer jogo heuristicamente, a única coisa a E é isso que os principais pesquisadores do mundo estão fazendo. Bem, tipo. Quando eu aprendi pela primeira vez sobre o RL no verão de 2024, a tecnologia não teve um grande avanço desde os triunfos da equipe AlphaZero em 2017. Todo mundo estava falando sobre o ChatGPT, parecia, bem como os novos Transformers que tinham dominado a discussão de tecnologia por meio ano. Pensei misteriosamente sobre o quão legal o RL era, e depois esqueci. Ou seja, até que a OpenAI tivesse a ideia de combinar a arquitetura do Transformer com o Reinforcement Learning, criando um híbrido impuro que eu gostaria de chamar de RL-LLMs, ou Reinforcement Learning-Large Language Models, por simplicidade. Parecia um não-brainer: reforçado por um paradigma chamado na indústria de IA, algo que já cobrimos antes e defendemos contra. O problema da exploração dos trabalhadores O problema da exploração dos trabalhadores 
 
 Este artigo é trazido para você por Nossa IA, uma organização de ética de IA fundada por estudantes e liderada por estudantes que procura diversificar perspectivas em IA além do que é tipicamente discutido nas mídias modernas. Este artigo é trazido para você por Nossa IA, uma organização de ética de IA fundada por estudantes e liderada por estudantes que procura diversificar perspectivas em IA além do que é tipicamente discutido nas mídias modernas. ! https://www.our-ai.org/ai-nexus/read Learn More Dito isto, RL tem um longo caminho a percorrer antes de atingir seu máximo potencial. Muitos modelos RL tradicionais têm que treinar para milhões de iterações antes da convergência, rapidamente aumentando os custos se o ambiente associado é grande ou excessivamente complexo, como é o caso para generalizar soluções para problemas complexos escritos em linguagem natural. Para este fim, os futuros modelos RL podem depender de LLMs (ou mesmo RL-LLMs) para “gamificar” problemas, assim como a equipe AlphaZero fez para AlphaProof, convertendo as equações que encontrou para o formato de prova formal LEAN para que possam ser resolvidos. Com isso, podemos ser capazes de alavancar RLs específicos de campo muito mais barato e eficientemente, embora este seja um passo atrás da visão comercial amplamente reconhecida de produzir Mais uma vez, a RL poderia resolver os problemas mais complexos do mundo... se pudéssemos descobrir como transformá-los rapidamente em jogos. A cadeia do pensamento (CoT) Artificial General Intelligence (AGI) A cadeia do pensamento (CoT) Inteligência Artificial Geral (AGI)

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Read My Stories

Este áudio é produzido no idioma original da história!

Como os cientistas transformaram os problemas do mundo em jogos com aprendizagem de reforço

About Author

COMENTARIOS

Rótulos

ESTE ARTIGO FOI APRESENTADO EM

Related Stories

As camadas invisíveis: por que as entrevistas com usuários são um ativo insubstituível

Crescimento de Criptomoedas: Criando Personas de Usuários Eficazes

Valhalla de Floki se junta como patrocinador associado da viagem da Índia ao Sri Lanka

Quer ganhar um concurso de redação do HackerNoon? Aqui está o que os vencedores do concurso #crypto-api recomendam

As camadas invisíveis: por que as entrevistas com usuários são um ativo insubstituível

Crescimento de Criptomoedas: Criando Personas de Usuários Eficazes

Valhalla de Floki se junta como patrocinador associado da viagem da Índia ao Sri Lanka

Quer ganhar um concurso de redação do HackerNoon? Aqui está o que os vencedores do concurso #crypto-api recomendam

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps