जनरेटिव एआई और बड़े भाषा मॉडल (एलएलएम) बहुत उत्साह पैदा कर रहे हैं। पाठ लिखने में मदद के लिए कहे जाने पर वे कितने उपयोगी हो सकते हैं, इसके कारण उन्होंने आम जनता की कल्पना को जगाया है। लेकिन डेवलपर्स के लिए, वे और भी अधिक क्रांतिकारी हैं, क्योंकि एआई अनुप्रयोगों को बनाने के तरीके को उन्होंने नाटकीय रूप से सरल बनाया है। आइए नजर डालते हैं क्यों।   एआई बहुत हाल तक कठिन क्यों था  परंपरागत रूप से, जिस तरह से आप एआई एप्लिकेशन बनाते हैं, वह चार चरणों वाली प्रक्रिया रही है:  वैक्टर के रूप में अपने डेटा के सबसे प्रासंगिक टुकड़ों को एनकोड करें। यह समझना कि "सबसे प्रासंगिक टुकड़े" क्या हैं एक कठिन समस्या है, और अक्सर एक शिक्षित अनुमान लगाने के बजाय इसे समझने के लिए एक अलग मॉडल बनाना शामिल है। कच्चे डेटा से प्रासंगिक टुकड़े निकालना एक और कठिन समस्या है। (ये महत्वपूर्ण समस्याएं हैं, इसलिए  .)   हमने उन्हें हल करने के लिए कास्काडा का निर्माण किया  अपने लक्ष्य को पूरा करने के लिए उन वैक्टरों का उपयोग करके एक मॉडल को प्रशिक्षित करें। उदाहरण के लिए, नेटफ्लिक्स के सबसे महत्वपूर्ण लक्ष्यों में से एक यह भविष्यवाणी करना है कि "जोनाथन लॉग इन करते समय क्या देखना चाहेगा।" यदि आपको छवि पहचान जैसी कोई सामान्य समस्या है, तो आप खरोंच से शुरू करने के बजाय किसी मौजूदा मॉडल को "फाइन ट्यून" कर सकते हैं, लेकिन यह अक्सर कई-gpus-for-hours-or-day क्षेत्र होता है।  मॉडल को तैनात करें और इसे एपीआई के रूप में प्रदर्शित करें।  इसे उत्पादन में चलाने के लिए, अपने रीयलटाइम डेटा को उसी एन्कोडिंग के माध्यम से चरण 1 में चलाएं, फिर इसे आपके द्वारा बनाए गए मॉडल के माध्यम से भेजें और इसकी भविष्यवाणी करने के लिए तैनात करें ("अनुमान")।  चरण 3 आम तौर पर सीधा होता है (हालाँकि  ); चरण 1, 2, और 4 सभी में पहले से तय किए गए समाधान शामिल हैं जिन्हें खोजने में मुश्किल कौशल की आवश्यकता हो सकती है।   चुनौतियों के बिना नहीं  आश्चर्य की बात नहीं है, जब एक समस्या डोमेन को इसे सफलतापूर्वक संबोधित करने के लिए पीएचडी की एक टीम की आवश्यकता होती है, तो यह कुछ कंपनियों को छोड़कर सभी के लिए लागत और कौशल-निषेधात्मक होगा।  एलएलएम के साथ एआई अब आसान क्यों है  एलएलएम के साथ जेनेरेटिव एआई के बारे में हर कोई इतना उत्साहित होने का एक कारण यह है कि आप अक्सर ऊपर दिए गए किसी भी चरण के बिना "अच्छी तरह से" एक समस्या को हल कर सकते हैं। जनरेटिव एआई के साथ आपका काम है:  अपने डेटा को पाठ के रूप में GPT में लाने का तरीका जानें  अंग्रेजी में उस डेटा के बारे में प्रश्न तैयार करें  वास्तव में बस इतना ही। बाकी सब कुछ विवरण है।  सबसे महत्वपूर्ण विवरण: चरण 1 में आप GPT को कौन सा डेटा देते हैं? आप उस पर सब कुछ नहीं फेंक सकते; यह GPT-3.5 में केवल 4k टोकन, या GPT-4 में 32k तक संभाल सकता है, जो बहुत धीमा और अधिक महंगा है।  वेक्टर खोज आपको सटीक क्वेरी लेने में सक्षम बनाती है जिसे आपने पहले ही जीपीटी को भेजने के लिए बनाया था और इसे अपने डेटाबेस में फेंक दिया था, जहां आप ग्राहक के बारे में सब कुछ जानते हैं। वेक्टर खोज शाब्दिक रूप से "इस क्वेरी के लिए सबसे अधिक प्रासंगिक डेटा क्या है" का जवाब देती है, जिसमें आपकी ओर से कोई और प्रयास नहीं किया गया है - यह लगभग जादुई है।  (मेरा दृढ़ विश्वास है कि वेक्टर खोज आपके मुख्य एप्लिकेशन डेटाबेस की एक विशेषता होनी चाहिए न कि एक अलग प्रणाली, यही कारण है  .)   हमने इसे Apache Cassandra और DataStax Astra DB में जोड़ा  एक बार आपके पास अपना सबसे प्रासंगिक डेटा और आपकी क्वेरी हो जाने के बाद, आप उन्हें एक साथ बंडल करते हैं और OpenAI को कॉल करते हैं, आपको अपना उत्तर वापस मिल जाता है, और आपका काम हो गया। (मैं कुछ चुनौतियों को अनदेखा कर रहा हूं, जैसे "  इसलिए आप उत्तर का उपभोग कर सकते हैं और इसे अपने आवेदन में शामिल कर सकते हैं," लेकिन ये ऐसी चुनौतियाँ हैं जिन्हें सॉफ्टवेयर इंजीनियर पहले से ही जानते हैं कि कैसे हल करना है।)   आप कड़ाई से परिभाषित प्रारूप में उत्तर देने के लिए एलएलएम कैसे प्राप्त करते हैं  तो एक स्ट्रीमिंग सामग्री प्रदाता डेटा का उपयोग करेगा जैसे: प्रत्येक सत्र जोनाथन ने कभी भी शीर्षक, अभिनेताओं और श्रेणी के साथ बिताया; उसने इसे कितनी देर तक देखा; साथ ही सभी मेटाडेटा के साथ हम आ सकते हैं, और उसके बाद इसे एक ही टेक्स्ट ब्लॉब में सामान्य करें और इसे वेक्टर प्राप्त करने के लिए एन्कोडर के माध्यम से चलाएं।  और अगर यह नेटफ्लिक्स होता, तो यह बहुत आसान होता, क्योंकि  , इसलिए कोई नई प्रणाली विकसित करने या पीएचडी को किराए पर लेने की कोई आवश्यकता नहीं होगी। उस मेटाडेटा को एक साथ एक तालिका में खींचने के लिए आपको केवल अपने देवों की आवश्यकता है और प्रत्येक पंक्ति को Google को भेजें  या ओपनएआई  एपीआई उन्हें वैक्टर में बदलने के लिए (कहा जाता है  ).   नेटफ्लिक्स के पास कैसेंड्रा में पहले से ही उनका डेटा है   हथेली   एडीए   एम्बेडिंग  एक बार ऐसा हो जाने के बाद, आप कैसेंड्रा से प्रासंगिक पंक्तियों को इस तरह की क्वेरी के साथ ला सकते हैं, कहा पे ? आपके क्वेरी वेक्टर के लिए एक बाइंड वेरिएबल है जो आपको उसी एम्बेडिंग API से मिलता है:   SELECT original_data_text FROM user_recommendation_data WHERE user_id = 'jonathan' ORDER BY embedding ANN OF ? LIMIT 20  फिर आप उन परिणामों को अपने एलएलएम प्रांप्ट में जोड़ते हैं, और ... बस इतना ही। अब आपके पास एक अनुशंसा प्रणाली है जिसे आपने बिना पीएचडी के एक सप्ताह में बनाया है, बस  और आपकी पसंद का एलएलएम।   एस्ट्रा डीबी   क्या पारंपरिक मॉडल अभी भी उपयोगी है?  जब वह कहता है कि एलएलएम के साथ सरल दृष्टिकोण समाप्त करने के बाद केवल फाइन-ट्यूनिंग या कस्टम मॉडल पर विचार करें। हालांकि, एलएलएम छोटे और/या अधिक सावधानी से ट्यून किए गए फीचर वैक्टर वाले कस्टम-निर्मित मॉडल की तुलना में धीमे और अधिक महंगे हैं। इसके अतिरिक्त, नेटफ्लिक्स जैसे उपयोग मामलों में जहां आप मशीन-पठनीय इनपुट लेना चाहते हैं और मशीन-पठनीय आउटपुट वापस प्राप्त करना चाहते हैं, आप आम तौर पर टेक्स्ट और अंग्रेजी के माध्यम से राउंड-ट्रिपिंग के मुकाबले कस्टम मॉडल के साथ अधिक सटीक परिणाम प्राप्त कर सकते हैं।   ट्रैविस फिशर सही है  लेकिन भले ही आपको एक कस्टम मॉडल बनाने की आवश्यकता हो, एलएलएम ऐसा करने के लिए डेटा, लेबल और सुविधाओं को बनाने में मदद कर सकता है। हालाँकि, यह एक अन्य लेख का विषय है!  मैं इसे कैसे आजमा सकता हूं?  मैं पढ़ने की सलाह देता हूं  यह सब कैसे काम करता है इस पर अगले स्तर को कवर करना। तब  वेक्टर-खोज-सक्षम एस्ट्रा डीबी के लिए, और  एलएलएम के लिए सदिश खोज पर। तैयार हो जाइए: यह मजेदार होने वाला है!   डेटा साइंस के लेख की ओर   साइन अप करें   हमारे 15 जून के वेबिनार के लिए रजिस्टर करें  जोनाथन एलिस द्वारा, डेटास्टैक्स

This story contains new, firsthand information uncovered by the writer.

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

The code in this story is for educational purposes. The readers are solely responsible for whatever they build with it.

DataStax Astra DB is the vector database for getting GenAI apps into production, fast. Try it for free today!

DataStax

यह ऑडियो कहानी की मूल भाषा में निर्मित है!

कैसे एलएलएम और वेक्टर खोज ने एआई अनुप्रयोगों के निर्माण में क्रांति ला दी है

About Author

टिप्पणियाँ

लेबल

इस लेख में चित्रित किया गया था

Related Stories

अपने वर्कफ़्लो को 10 गुना बेहतर कैसे बनाएं: 17 ज़रूरी ऐप्स

10 Reasons Why Publishing on HackerNoon Will Skyrocket Your Reach and Impact

Paint us Red and Call us Santa! Our Devs Just Gifted You a Sleigh of New Features!

He/Him/Master of Discovery

अपने वर्कफ़्लो को 10 गुना बेहतर कैसे बनाएं: 17 ज़रूरी ऐप्स

10 Reasons Why Publishing on HackerNoon Will Skyrocket Your Reach and Impact

Paint us Red and Call us Santa! Our Devs Just Gifted You a Sleigh of New Features!

He/Him/Master of Discovery

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps