Snowflake est désormais la norme de facto pour les plates-formes d'entrepôt de données cloud. Il est conçu pour prendre en charge une variété de tâches de données depuis les pipelines, l'ETL, l'analyse et la gouvernance. Traditionnellement, toutes les données devaient être déplacées dans Snowflake pour qu'une entreprise puisse tirer parti des fonctionnalités de Snowflake.  Snowflake a cependant compris que les entreprises souhaitaient intégrer leurs données où qu'elles se trouvent, sans avoir à déplacer les données. Par conséquent, avec l'introduction du support de table externe, les entreprises pourront désormais y parvenir.  Cela a des impacts réels, à la fois sur l'économie du déploiement de Snowflake, mais aussi sur la quantité de données disponibles sur la plateforme Snowflake pour l'analyse et la science des données.  La disponibilité des tables externes ne changera pas les emplacements où Snowflake s'exécute - il fonctionnera toujours exclusivement dans les trois principaux clouds publics (AWS, GCP, Azure). Cependant, cela supprimera l'exigence selon laquelle toutes les données doivent être stockées dans Snowflake pour que Snowflake puisse fonctionner dessus.  MinIO est peut-être le plus grand bénéficiaire de ce changement. MinIO est un magasin d'objets cloud natif hautes performances. Il fonctionnera sur toutes les versions de Kubernetes (en amont, EKS, AKS, GKE, etc.) ainsi que sur des machines virtuelles comme les VM du cloud public, VMWare, etc. et sur du matériel bare metal. Pour cette raison, MinIO peut devenir le magasin de données mondial pour les clients Snowflake, où que se trouvent leurs données.  Pour garantir que les bonnes données sont disponibles pour le bon utilisateur, il est impératif qu'il y ait un contrôle d'accès fin sur ces lacs de données multi-cloud. La capacité de MinIO à s'intégrer à des IDP tiers et ses capacités sophistiquées de contrôle d'accès basé sur des politiques (PBAC) garantissent qu'il ne s'agit pas d'une réflexion après coup.  Bien que Snowflake prenne en charge les points de terminaison S3 (qui incluent naturellement d'autres magasins d'objets), ces magasins d'objets ne sont pas capables de s'exécuter dans tous les endroits où une entreprise conserve ses données. Par exemple, les appliances ne fonctionnent pas dans le cloud public ou sur OpenShift ou Tanzu. Pour parvenir à une stratégie cohérente de données partout, les entreprises devront adopter MinIO.  De plus, Snowflake est devenu une mission essentielle dans l'entreprise. À tel point que la résilience est désormais intégrée à ces systèmes. Cette résilience ne tient pas seulement compte de l'échec de la région dans le cloud, elle tient compte de l'échec complet du cloud.  La dépendance au cloud unique s'est avérée être une mauvaise architecture, comme je l'ai écrit précédemment. MinIO, avec sa capacité à être disponible partout et à se répliquer entre les clouds privés, publics et périphériques, fournit la seule véritable solution pour la disponibilité des données multi-cloud.  Simple à utiliser  Alors, est-ce simple pour l'utilisateur final ? Imaginez que vous ayez un bucket dans MinIO appelé "Bucket1". Vous pouvez le configurer de manière à pouvoir exécuter n'importe quelle commande SnowSQL dessus comme s'il s'agissait simplement d'une autre table.  Par exemple :    Sélectionnez * dans Bucket1 ;  Comme la plupart des choses dans Snowflake, la connexion à vos données stockées sur MinIO est également relativement simple.  Voici ce dont vous avez besoin pour commencer :  Configurer le flocon de neige  La prise en charge des tables externes doit être activée pour votre environnement Snowflake. Si vous obtenez des erreurs comme 'préfixe d'URL non valide trouvé dans : '   ', cela signifie probablement qu'il n'est pas activé. Veuillez contacter votre représentant Snowflake pour l'activer. s3compat://snowflake/  Configurer MinIO  Il n'y a que quelques exigences sur la configuration de MinIO pour qu'elle fonctionne avec Snowflake.  MinIO doit être configuré pour permettre un accès de style DNS et le compartiment doit être disponible publiquement.  Actuellement, la région doit être définie sur NULL ou identique à la région de l'instance Snowflake (par exemple, "us-west-2"). Vous recevrez un message d'erreur de la requête Snowflake afin que vous sachiez quelle région elle attend.  Dans l'exemple ci-dessous, le compartiment "flocon de neige" contient 4 objets et un autre objet dans le dossier/sous-préfixe "sn1". Snowflake récupérera tous ces objets.  Afin de l'intégrer à Snowflake, si le serveur MinIO est sur   , le compartiment doit être accessible sur  https://play.min.io https://snowflake.play.min.io  Les exemples de fichiers sont disponibles sur    https://docs.snowflake.com/en/user-guide/getting-started-tutorial-prerequisites.html#sample-data-files-for-loading  Les buckets MinIO peuvent être intégrés à Snowflake de deux manières. Le premier est en tant que "Staging Area" et le second en tant que table externe. Regardons les deux  Accès à la zone de rassemblement  Dans le cadre d'un processus ETL, les données sont normalement sélectionnées et préparées à partir d'une source de données ou d'un lac de données, déplacées dans une zone de préparation, puis chargées dans un entrepôt afin que les requêtes puissent être exécutées dessus.  Traditionnellement, ces zones de transit pour Snowflake se trouvaient dans Snowflake lui-même, c'était donc le flux :  Lac de données (sur site, cloud public, etc.) -> Staging Snowflake -> Table interne Snowflake  Les entreprises peuvent désormais configurer MinIO en tant que zone intermédiaire et déplacer les données directement dans une table Snowflake interne pour y exécuter des requêtes.  Cela fait ce qui suit  Simplifie le flux  Permet aux données d'être disponibles plus rapidement pour l'analyse afin de répondre aux besoins de l'entreprise  Garantit qu'il n'y a pas de copies inutiles des données, ce qui contribue à la fois à la gouvernance et au coût.  Le nouveau flux serait :  Données dans MinIO (sur site, cloud public, etc.) -> Table interne Snowflake  Les exemples suivants sont affichés dans la console Snowflake, mais ils peuvent être exécutés via la CLI Snowflake.  Pour   , utilisez  AWS_KEY_ID='Q3AM3UQ867SPQQA43P2F'  AWS_SECRET_KEY='zuf+tfteSlswRu7BJ86wekitnifILbZam1KYY3TG'  play.min.io  La référence de la commande Snowflake CREATE STAGE est disponible ici :  https://docs.snowflake.com/en/sql-reference/sql/create-stage.html  Accès aux tables externes  Les requêtes dans Snowflake devaient être effectuées sur des tables internes. Cela signifiait que toutes les données - même pour les requêtes ad hoc - devaient être déplacées vers Snowflake. Cela a entraîné à la fois des coûts et l'impossibilité d'interroger en temps opportun.  Les entreprises peuvent désormais accéder directement aux données des compartiments MinIO à l'aide des nouvelles fonctionnalités d'accès aux tables externes introduites par Snowflake.  Le temps pris par la requête initiale dépendra de la quantité de données transférées, mais les lectures sont mises en cache et les requêtes suivantes peuvent être plus rapides jusqu'à la prochaine actualisation.  En utilisant l'approche de table externe, les données n'ont pas besoin d'être copiées et le compartiment peut être utilisé comme table externe pour les requêtes, les jointures, etc.  Cependant, en échange, les avantages sont énormes.  Cela étend les capacités de l'entrepôt sans encourir le coût du déménagement.  La possibilité d'exécuter des analyses sur des données en temps réel est désormais disponible.  Le déplacement de données uniquement pour exécuter une requête ad hoc peut être complètement évité.  L'analyse est possible dans les cas où les données ne peuvent pas être déplacées pour des raisons de conformité ou pour d'autres raisons commerciales.  Vous bénéficiez toujours de tous les avantages des fonctionnalités de Snowflake avec les mêmes ressources qui connaissent déjà la plate-forme Snowflake  Un exemple est illustré ci-dessous :  La référence de la commande Snowflake CREATE EXTERNAL TABLE est disponible ici :  https://docs.snowflake.com/en/sql-reference/sql/create-external-table.html  Utilisation de la CLI Snowflake (SnowSQL)  Les mêmes commandes peuvent être exécutées à l'aide de la CLI Snowflake (SnowSQL).  Vous pouvez trouver les instructions sur la façon d'installer SnowSQL sur votre plate-forme ici :  https://docs.snowflake.com/en/user-guide/snowsql-install-config.html  La seule différence est que vous devez commencer par la commande  $ snowsql -a <identifiant_compte> -u <nom_utilisateur>  L'identifiant de compte est au format <organization-name>-<account-name>. Vous pouvez le trouver sur la page Admin de la console Snowflake.   Résumé  Et c'est tout.  Si vous êtes un client MinIO cherchant à ajouter des fonctionnalités Snowflake ou si vous êtes un client Snowflake cherchant à étendre ses capacités aux données stockées en dehors de Snowflake, essayez-le. Dans tous les cas, vous tirerez le meilleur parti de votre investissement actuel.  Également publié   . ici

This writer has a vested interest be it monetary, business, or otherwise, with 1 or more of the products or companies mentioned within.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

The code in this story is for educational purposes. The readers are solely responsible for whatever they build with it.

Comment utiliser MinIO comme tables externes pour étendre Snowflake

About Author

COMMENTAIRES

ÉTIQUETTES

CET ARTICLE A ÉTÉ PARU DANS

Related Stories

Vous voulez gagner un concours d’écriture HackerNoon ? Voici ce que recommandent les gagnants du concours #crypto-api

Le guide complet pour réussir une migration vers le cloud : stratégies et bonnes pratiques

Le modèle Bitcoin UTXO, alimentant un écosystème unique

Libérer la puissance de l’IA. Une revue systématique des techniques de pointe : résumé et introduction

Vous voulez gagner un concours d’écriture HackerNoon ? Voici ce que recommandent les gagnants du concours #crypto-api

Le guide complet pour réussir une migration vers le cloud : stratégies et bonnes pratiques

Le modèle Bitcoin UTXO, alimentant un écosystème unique

Libérer la puissance de l’IA. Une revue systématique des techniques de pointe : résumé et introduction

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps