IA generativa e modelos de linguagem grande (LLMs) estão gerando muita empolgação. Eles despertaram a imaginação do público em geral por causa de quão úteis podem ser quando solicitados para ajudar a escrever um texto. Mas para os desenvolvedores, eles são ainda mais revolucionários, porque simplificaram drasticamente a maneira como os aplicativos de IA podem ser criados. Vamos dar uma olhada no porquê.   Por que a IA era difícil até muito recentemente  Tradicionalmente, a maneira como você cria um aplicativo de IA tem sido um processo de quatro etapas:  Codifique as partes mais relevantes de seus dados como vetores. Entender quais são as “peças mais relevantes” é um problema difícil e geralmente envolve a construção de um modelo separado apenas para descobrir isso, em vez de fazer uma suposição fundamentada. Extrair as partes relevantes dos dados brutos é outro problema difícil. (Estes são problemas importantes, e é por isso que  .)   construímos Kaskada para resolvê-los  Treine um modelo usando esses vetores para atingir seu objetivo. Por exemplo, um dos objetivos mais importantes da Netflix é prever "o que Jonathan vai querer assistir quando fizer login". Se você tiver um problema comum, como reconhecimento de imagem, poderá "ajustar" um modelo existente em vez de começar do zero, mas esse é um território com muitos gpus por horas ou dias.  Implante o modelo e exponha-o como uma API.  Para executá-lo em produção, execute seus dados em tempo real por meio da mesma codificação da etapa 1 e, em seguida, envie-os por meio do modelo que você criou e implantou para fazer sua previsão ("inferência").  O passo 3 é geralmente simples (embora  ); as etapas 1, 2 e 4 envolvem soluções sob medida que podem exigir habilidades difíceis de encontrar.   não sem desafios  Não surpreendentemente, quando um domínio de problema requer uma equipe de PhDs para resolvê-lo com sucesso, será proibitivo em termos de custo e habilidade para todas as empresas, exceto algumas.  Por que a IA é fácil agora com LLMs  Uma razão pela qual todos estão tão empolgados com a IA generativa com LLMs é porque muitas vezes você pode resolver um problema "bem o suficiente" sem nenhuma das etapas acima. Com IA generativa, seu trabalho é:  Descubra como colocar seus dados no GPT como texto  Formule consultas sobre esses dados em inglês  É isso, realmente. Todo o resto são detalhes.  O detalhe mais importante: quais dados você fornece ao GPT na etapa 1? Você não pode jogar tudo nele; ele só pode lidar com tokens de 4k em GPT-3.5 ou até 32k em GPT-4, que é muito mais lento e mais caro.  A pesquisa vetorial permite que você pegue a consulta exata que você já criou para enviar ao GPT e jogue-a no seu banco de dados, onde você coloca tudo o que sabe sobre o cliente. A pesquisa vetorial responde literalmente "quais são os dados mais relevantes para esta consulta" sem nenhum esforço adicional de sua parte - é quase mágico.  (Acredito firmemente que a pesquisa de vetores deve ser um recurso do banco de dados principal do aplicativo e não um sistema separado, e é por isso que  .)   nós o adicionamos ao Apache Cassandra e DataStax Astra DB  Depois de ter seus dados mais relevantes e sua consulta, você os agrupa e faz uma chamada para OpenAI, obtém sua resposta e pronto. (Estou passando por cima de alguns desafios, como “  para que você possa consumir a resposta e incorporá-la ao seu aplicativo”, mas esses são os tipos de desafios que os engenheiros de software já sabem resolver.)   como você consegue que um LLM responda em um formato estritamente definido  Portanto, um provedor de conteúdo de streaming usaria dados como: todas as sessões que Jonathan já passou com título, atores e categoria; quanto tempo ele assistiu; mais todos os metadados que podemos criar e, em seguida, desnormalize tudo em um único blob de texto e execute-o no codificador para obter um vetor.  E se fosse Netflix, seria super fácil, porque  , então não haveria necessidade de criar um novo sistema ou contratar PhDs. Você só precisa que seus desenvolvedores escrevam uma consulta para reunir esses metadados em uma única tabela e enviar cada linha para o Google  ou OpenAI's  API para transformá-los em vetores (chamados  ).   Netflix já tem seus dados no Cassandra   Palma   Ada   incorporações  Feito isso, você pode buscar as linhas relevantes do Cassandra com uma consulta como esta, where ? é uma variável de ligação para seu vetor de consulta que você obtém da mesma API de incorporação:   SELECT original_data_text FROM user_recommendation_data WHERE user_id = 'jonathan' ORDER BY embedding ANN OF ? LIMIT 20  Em seguida, você adiciona esses resultados ao prompt do LLM e … é isso. Agora você tem um sistema de recomendação que construiu em uma semana sem PhDs, apenas  e seu LLM de escolha.   Astra DB   O modelo tradicional ainda é útil?  quando ele diz para considerar apenas o ajuste fino ou modelos personalizados depois de esgotar abordagens mais simples com LLMs. No entanto, os LLMs são mais lentos e mais caros do que os modelos personalizados com vetores de recursos menores e/ou mais cuidadosamente ajustados. Além disso, em casos de uso como o da Netflix, em que você deseja obter entradas legíveis por máquina e recuperar saídas legíveis por máquina, geralmente é possível obter resultados mais precisos com um modelo personalizado do que com o texto e o inglês.   Travis Fisher está certo  Mas mesmo que você precise criar um modelo personalizado, os LLMs podem ajudar na geração de dados, rótulos e recursos para isso. Isso, porém, é assunto para outro artigo!  Como posso experimentar isso?  eu recomendo a leitura  cobrindo o próximo nível abaixo sobre como tudo isso funciona. Então  para Astra DB habilitado para pesquisa vetorial e  na busca de vetores para LLMs. Prepare-se: vai ser divertido!   Rumo ao artigo da Data Science   inscrever-se   inscreva-se para nosso webinar de 15 de junho  Por Jonathan Ellis, DataStax

This story contains new, firsthand information uncovered by the writer.

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

The code in this story is for educational purposes. The readers are solely responsible for whatever they build with it.

DataStax Astra DB is the vector database for getting GenAI apps into production, fast. Try it for free today!

DataStax

Este áudio é produzido no idioma original da história!

Como os LLMs e a pesquisa de vetores revolucionaram a criação de aplicativos de IA

About Author

COMENTARIOS

Rótulos

ESTE ARTIGO FOI APRESENTADO EM

Related Stories

O guia completo para uma migração bem-sucedida para a nuvem: estratégias e práticas recomendadas

Guia do arquiteto para construir arquitetura de referência para um Datalake de IA/ML

Quer ganhar um concurso de redação do HackerNoon? Aqui está o que os vencedores do concurso #crypto-api recomendam

As camadas invisíveis: por que as entrevistas com usuários são um ativo insubstituível

O guia completo para uma migração bem-sucedida para a nuvem: estratégias e práticas recomendadas

Guia do arquiteto para construir arquitetura de referência para um Datalake de IA/ML

Quer ganhar um concurso de redação do HackerNoon? Aqui está o que os vencedores do concurso #crypto-api recomendam

As camadas invisíveis: por que as entrevistas com usuários são um ativo insubstituível

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps