Les choses évoluent rapidement dans le monde de la technologie des infrastructures. Il n'y a pas si longtemps, l'exécution d'une base de données sur   était considérée comme trop délicate pour en valoir la peine. Mais c'était le problème d'hier. Les créateurs d'applications cloud natives sont devenus doués pour exécuter des charges de travail avec état, car Kubernetes est un moyen puissant de créer rapidement et efficacement des centres de données virtuels. Kubernetes  La dernière fois que j'ai écrit à ce sujet, j'ai un peu élargi l'ouverture pour prendre en compte d'autres parties de la pile d'applications dans le centre de données virtuel, en particulier les charges de travail et l'analyse en continu.  Avec l'entrée de ces deux éléments dans le courant dominant de Kubernetes, la discussion sur les cas d'utilisation devient plus intéressante.  Que ferons-nous de ces outils de données fondamentaux si nous y avons accès ? Heureusement, nous n'avons pas à enquêter trop en profondeur, car l'industrie a déjà choisi la direction :   . les charges de travail AI/ML  Ce qui motive cela, c'est le besoin de MLOps plus rapides et plus agiles pour prendre en charge  , également connue sous le nom d'intelligence artificielle (IA) en temps réel. Des entreprises comme   et   ont été les premiers à les adopter, mais une multitude de projets formidables sont disponibles pour vous permettre d'aller plus vite avec Kubernetes. prédiction en ligne Uber Netflix  Caractéristique Servir avec un festin  La création et la maintenance de modèles d'apprentissage automatique (ML) sortent du back-office et se rapprochent des utilisateurs en production. Un magasin de fonctionnalités agit comme un pont entre les données et les modèles d'apprentissage automatique, offrant aux modèles un moyen cohérent d'accéder aux données dans les phases hors ligne et en ligne. Il gère les exigences de traitement des données pendant la formation des modèles et fournit un accès en temps réel à faible latence aux modèles pendant la phase en ligne. Cela garantit la cohérence des données pour les deux phases et répond aux exigences en ligne et hors ligne.  est un exemple de magasin de fonctionnalités exécuté dans Kubernetes. Il est open source et permet aux organisations de stocker et de diffuser des fonctionnalités de manière cohérente pour la formation hors ligne et l'inférence en ligne. Feast va au-delà des bases de données traditionnelles en fournissant des fonctionnalités spécialisées telles que l'exactitude ponctuelle.   Festin  Modèle servant avec KServe  est un point de terminaison d'API pour le déploiement de modèles d'apprentissage automatique dans Kubernetes, la gestion de la récupération, du chargement et de la détermination du modèle si un processeur ou un processeur graphique est requis. Il s'intègre aux événements   pour l'évolutivité horizontale et offre des fonctionnalités d'observabilité telles que les métriques et la journalisation. La meilleure partie? C'est simple à utiliser. Pointez simplement KServe sur votre fichier de modèle et il créera une API et gérera le reste.   KServeGenericName KNative  La fonction d'explication donne un aperçu de la raison pour laquelle une décision a été prise pour chaque prédiction, offrant l'importance de la caractéristique et mettant en évidence les facteurs du modèle qui ont conduit à un résultat particulier. Cela peut être utilisé pour détecter la dérive et le biais du modèle, qui sont quelques-unes des parties « importantes mais difficiles » de l'apprentissage automatique. Ces fonctionnalités réduisent les efforts impliqués dans les MLOps et renforcent la confiance dans l'application. KServe s'est récemment séparé du projet Google KubeFlow et a été  par Bloomberg dans le cadre de ses efforts pour créer une plate-forme d'inférence ML.   Souligné  Recherche de similarité vectorielle  Complétant les méthodes traditionnelles de recherche de données, la recherche de similarité vectorielle (VSS) est un outil d'apprentissage automatique qui utilise les mathématiques vectorielles pour déterminer à quel point deux choses sont "proches" l'une de l'autre. Cela se fait par le K-plus proche voisin (  ), qui exprime les données sous forme de vecteur. Les données sont ensuite vectorisées à l'aide d'un algorithme KNN gourmand en CPU et indexées pour une recherche moins gourmande en CPU. Les utilisateurs finaux peuvent fournir un vecteur et rechercher des éléments proches de celui-ci à l'aide du mécanisme de requête fourni par les serveurs VSS. Les serveurs VSS open source que vous pouvez déployer dans Kubernetes incluent   et   . Les deux fournissent tout ce dont vous avez besoin pour ajouter une recherche de similarité à votre pile d'applications.   KN Weaviate Milvus  Assembler l'équipe  Combinez mon  avec celui-ci et vous avez une recette pour la pile complète déployée dans Kubernetes. Le résultat que chaque organisation devrait essayer de réaliser est une productivité accrue et des coûts réduits. Récent  montrent que les leaders de l'espace des données trouvent les deux lors du déploiement d'une infrastructure de données dans Kubernetes.   article précédent   enquêtes  Les charges de travail   peuvent être quelque chose que vous commencez tout juste à explorer, alors c'est peut-être le meilleur moment pour commencer du bon pied. Les trois domaines mentionnés - service de fonctionnalités, service de modèle et recherche de similarité vectorielle - sont tous couverts dans le livre que j'ai co-écrit avec Jeff Carpenter, "  .” Vue d'ensemble de l'IA/ML dans la pile d'applications : les exigences en temps réel deviendront bientôt courantes dans la plupart des applications d'IA. Utiliser Kubernetes pour aller vite et construire de manière fiable n'est plus une hallucination de l'IA. AI/ML   Gérer les données cloud natives avec Kubernetes  Également publié  ici.

DataStax Astra DB is the vector database for getting GenAI apps into production, fast. Try it for free today!

DataStax

Cet audio est produit dans la langue originale de l'histoire !

3 outils clés pour déployer des charges de travail AI/ML sur Kubernetes

About Author

COMMENTAIRES

ÉTIQUETTES

CET ARTICLE A ÉTÉ PARU DANS

Related Stories

Vous voulez gagner un concours d’écriture HackerNoon ? Voici ce que recommandent les gagnants du concours #crypto-api

Télégramme : le pont de Crypto Island vers le continent

Croissance des crypto-monnaies : créer des profils d'utilisateurs efficaces

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

Vous voulez gagner un concours d’écriture HackerNoon ? Voici ce que recommandent les gagnants du concours #crypto-api

Télégramme : le pont de Crypto Island vers le continent

Croissance des crypto-monnaies : créer des profils d'utilisateurs efficaces

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps