Keresés és kivonat: Miért számít ez az AI mintázat, oktatóanyag és példa

A legtöbb AI ügynök, ML csővezeték, AI-gazdagítási munkafolyamatok, mélyreható kutatási rendszerek és adatvezérelt döntéshozatali motorok nem hibásak, mert a modellek rosszak. Pontosabban, az adatok általában elavultak, a kontextusból, nem ellenőrizhetőek, vagy mindhárom egyszerre. Ez az alapvető probléma. Ebben a cikkben megtudhatod, hogy mit Valójában azt jelenti, hogy hogyan működik a kalap alatt, miért számít jobban, mint a legtöbb ember gondolja, és hogyan kell végrehajtani egy konkrét példával! Keresés és kivonat A friss, kontextusos és megbízható, ellenőrizhető információk szükségessége A Statista szerint naponta körülbelül 402,74 millió terabájt adat keletkezik. Ez az adat beáramlik a webbe, az adattárakba, az analitikai halmazokba és a csővezetékekbe olyan mértékben, hogy őszintén nehéz érvelni. De itt van a fogás: több adat nem jelenti azt, hogy jobb adatok! Ebben a kötetben irreális feltételezni, hogy minden tükrözi a valóságot, vagy hogy először is megbízható... A vállalatok továbbra is az üzleti döntéseket, az automatizálást és az AI-vezérelt hívásokat Az adat. Ezt És amikor a forrás elavult, hiányos, vagy egyszerűen téves ... a rá épített betekintések nem lehetnek megbízhatóak. Pontosan ezért hallucinálnak az LLM-k, az AI-ügynökök meggyőző, de helytelen válaszokat adnak, és az adatvezetékek csendben meghibásodnak a termelésben. A legtöbb valós esetben a probléma nem a modell, az eszközök vagy a végrehajtás. Akár egy klasszikus analitikai munkafolyamatot futtat, akár egy teljesen autonóm AI-ügynököt, minden a forrásadatok minőségétől függ. Frissítés A kontextus Ellenőrizhető Végtére is, ha nem tudod Az adatok származnak, vagy Az eredményt nem lehet reálisan elhinni, nem lehet reálisan elhinni. Ahol Mikor Ez az igazi kérdés. Hogyan lehet megbízhatóan visszaszerezni azokat az információkat, amelyek naprakészek, relevánsak egy adott feladathoz, és bizonyítottan a forráshoz kapcsolódnak? Hogyan lehet megbízhatóan visszaszerezni azokat az információkat, amelyek naprakészek, relevánsak egy adott feladathoz, és bizonyítottan a forráshoz kapcsolódnak? Ez az, ahol a Kattints ide! - Térjünk vissza a pálya alá! Search and Extract Keresés és kivonat: Mi az és miért a megoldás A „keresés és kivonat” egy A webről a legfrissebb, ellenőrizhető és kontextusban gazdag információk visszaszerzésének folyamata. A struktúra egyszerű, de a gyakorlatban rendkívül hatékony. De facto szabvány Magas szinten két különböző lépésben működik: Keresés: A rendszer élő webes keresést végez a keresőmotorokon, például a Google-on, hogy megtalálja az adott lekérdezés legrelevánsabb és legmegbízhatóbb forrásait. Kivonat: A keresési eredményekből a rendszer azonosítja a legrelevánsabb URL-eket, meglátogatja ezeket az oldalakat, és visszanyeri a leghasznosabb tartalmat vagy adatokat. Ez magában foglalhatja az oldalról elemzett tényeket, statisztikákat, definíciókat vagy strukturált információkat. Ez a minta különösen hasznos az AI-hoz kapcsolódó alkalmazásokban, mint például az AI-ügynökök, Emellett a hagyományos gépi tanulásra, tényellenőrzésre és adatgazdálkodási csővezetékekre is alkalmazható. RAG rendszerek RAG rendszerek A „Keresés és kivonat” mintázat végső célja, hogy a modern adatok kihívásaival foglalkozzon, biztosítva, hogy az összegyűjtött információk: Friss , mivel a levágott nyilvános webes adatok a legutóbbi webes keresésekből származnak, amelyek magukban foglalhatják a legfrissebb információkat és híreket. Kontextuális , mivel az információk szorosan összefüggnek a keresési lekérdezésben megadott témákkal. Ellenőrizhető , mivel az adatok közvetlenül konkrét weboldalakból származnak, URL-ekkel, amelyeket bárki meglátogathat és ellenőrizhet. Hogyan működik a keresés és a kivonat? Magas szinten a „Keresés és kivonat” összefoglalható a következő munkafolyamatokkal: Ezek általában a dokumentumokból, adatkészletekből vagy adott információforrásokból származnak AI/ML használatával. Ez az, ami gyakran előfordul az AI-gazdagításban, az adatok ellenőrzésében, a RAG-munkafolyamatokban vagy a mélyreható kutatási alkalmazásokban. A forrástól függetlenül a kereshető témák átkerülnek a „Keresés” komponensre, ahol egy SERP API-megoldás automatizált webes keresést végez a célkeresőmotorokon.A keresési eredmények lekérdezése után vagy figyelembe veheti az összes visszaküldött weboldalt, vagy csak a legrelevánsabbakat szűrheti AI/ML vagy szigorú szabályok segítségével (pl. az oldalak megtartása bizonyos tartományokból, nyelvekből vagy más kritériumokból). Amikor egyszerre több keresési lekérdezést céloz meg (akár különböző lekérdezéseket, akár ugyanazon lekérdezés több oldalát), szükség lehet egy egyéni átrangolási algoritmus futtatására.A Google vagy bármely keresőmotor által biztosított rangsorolás SEO-ra optimalizálva van, ami nem tükrözi, hogy mi számít az Ön használati esete szempontjából. A kiválasztott URL-címeket ezután elküldik a „Kiválasztás” csomóponthoz, ahol egy webes kaparásszolgáltatás minden egyes oldalt elér, és kivonja a fő információkat. Ezután vizsgáljuk meg azokat a szolgáltatásokat, amelyek a „Keresés” és a „Kiválasztás” fázisban kerülnek játékba! Keresés A keresőmotorok, mint a Google, a Bing, a DuckDuckGo, a Baidu és a Yandex védik SERP-jeiket (Search Engine Results Pages) sebességkorlátozásokkal és CAPTCHA-kkal, hogy megakadályozzák az automatizált kaparást. A „Keresés” fázis végrehajtásának legmegbízhatóbb módja egy SERP API-megoldás használata. Ezek a szolgáltatások exponálják a végpontokat a felhőben végzett keresési feladatok kiváltására, az Ön számára a skálázhatóság és a robotellenes intézkedések kezelésére tervezett infrastruktúrát használva. Támogatja a globális kereséseket egy több mint 150 millió IP-címből álló proxy hálózaton keresztül 195 országban, teljes körűen elemzett SERP-adatokat adhat vissza JSON-ban, számos oldalazási lehetőséget kínál, és támogatja az integrációt bármely adatba vagy ML-csővezetékbe a standard HTTP-kérelmek használatával, valamint több mint 50 AI ügynök keretrendszert és munkafolyamatot. A világos adatok SERP API A világos adatok SERP API Továbbá, a Bright Data SERP API lehetővé teszi, hogy párhuzamosan végezzen korlátlan számú keresési lekérdezést. Ez azt jelenti, hogy több ezer eredményt kaphat a „Keresés” fázisban. Ezután szűrheti és újra rangsorolhatja őket az Ön igényeinek megfelelően az általános „Keresés és kivonat” folyamat későbbi szakaszaiban (mint korábban említettük). Kiadvány ️ A webes adatbányászat a nehezebb rész. Az ok az, hogy minden weboldal más, és még az ugyanazon tartományon belüli oldalak is követhetik a különböző renderelést, adatvizualizációt és keresési logikát. Ez megnehezíti a programozott hozzáférést a tartalmukhoz. Ezen túlmenően a webhelyek hajlamosak anti-karcolási intézkedéseket alkalmazni értékes nyilvános webes adataik védelme érdekében. Ez olyan harmadik fél szolgáltatásokat igényel, amelyek lehetővé teszik, hogy megbízhatóan hozzáférjen a weboldalak tartalmához, függetlenül attól, hogy mennyire védettek, és függetlenül attól, hogy a skálázhatóságra van szükség. Web Unlocker API: Egy API, amely minden nyilvános weboldalt könnyedén elér, blokkokat, CAPTCHA-kat, ujjlenyomatokat és proxy rotációt automatikusan kezeli. Böngésző API: Teljesen felhőalapú böngésző, amely kompatibilis a Puppeteer, a Selenium, a Playwright és más automatizálási keretrendszerekkel, beépített CAPTCHA megoldással és automatizált proxy menedzseléssel. Web Unlocker alkalmazás Web Unlocker alkalmazás Böngésző API Böngésző API A Web Unlocker ideális az oldal tartalmának kereséséhez, akár nyers HTML-ben, akár AI-kész Markdownban (a A dinamikus webhelyekhez, amelyek interakciót vagy automatizálást igényelnek a szükséges adatokhoz való hozzáféréshez, a böngésző API a legjobb. nagy adatformátum az LLM ingestion számára nagy adatformátum az LLM ingestion számára A két megoldás együttesen mindent lefed a „Keresés és kivonat” munkafolyamat „Kivonat” szakaszához. Hogyan lehet végrehajtani a keresési és kivonási munkafolyamatot a Pythonban Ismerje meg, hogyan lehet valósághű „Keresés és kivonat” munkafolyamatot végrehajtani a Pythonban: A keresési szakaszban a Bright Data SERP API-ját használja az élő webes keresések futtatásához. Az Extract fázisban a Web Unlocker API-ra támaszkodhat a kiválasztott oldalak tartalmának letöltéséhez és elemzéséhez. Kövesse az alábbi bevezetéseket! Előfeltételek Ahhoz, hogy kövesse ezt a tutorial szakasz, győződjön meg róla, hogy: A Python 3.9+ telepítve van. Bright Data fiók konfigurálva egy SERP API zónával és egy Web Unlocker API zónával, valamint az API kulcsával. Ha nem ismeri a Bright Data SERP API vagy Web Unlocker API termékeit, kövesse a hivatalos dokumentációt: A SERP API bevezetése A Bright Data Unlocker API bevezetése A SERP API bevezetése A SERP API bevezetése A Bright Data Unlocker API bevezetése A Bright Data Unlocker API bevezetése Mostantól a SERP API zónájára hivatkozunk, mint és a Web Unlocker API zónájába, mint : serp_api web_unlocker Továbbá győződjön meg róla, hogy a a zóna a „Full JSON” módban van beállítva a „Data Format” szakaszban a konfigurációs táblázatban: serp_api Ily módon a Bright Data SERP API JSON formátumban visszaküldi az elemzett SERP eredményeket, megkönnyítve a szűrést és az újra rangsorolást. Végül pedig Ezt a fenti szolgáltatásokra vonatkozó kérelmek hitelesítésére fogják használni! Hozza létre a Bright Data API kulcsot Hozza létre a Bright Data API kulcsot A folyamat felgyorsítása érdekében feltételezzük, hogy már van egy Python projekt a virtuális környezetben. Lépés #1: Készüljön fel a Bright Data Services API-n keresztül történő elérésére A legegyszerűbb módja annak, hogy csatlakozzon a Bright Data szolgáltatásokhoz, közvetlenül az API-n keresztül. Először is, telepítsen egy aszinkron kész HTTP-ügyfelet, mint például az AIOHTTP: pip install aiohttp Ezután határozza meg a következő két funkciót a SERP API és a Web Unlocker API hívására: # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() A A funkció csatlakozik a Bright Data SERP API-hoz a Google kereséseinek végrehajtásához és az elemzett JSON SERP eredmények (a fiókjában beállított) lekérdezéséhez. fetch_serp() Hasonlóan Csatlakozik a Bright Data Web Unlocker API-hoz, hogy weboldalakat gyűjtsön. A kimenetet Markdown-ként konfigurálja, ami ideális az LLM-ekbe való bejutáshoz. fetch_page() Az érvekről, a paraméterekről és a két API felhívásáról bővebb információért lásd a dokumentumokat! : A gyártás során kerülje el a Bright Data API-kulcs hardcodálását. Ehelyett töltse le egy környezeti változóból. Note Nagyszerű! Most már rendelkezik az építőelemekkel a „Keresés” és a „Kivonat” fázisok végrehajtásához A funkció: async import asyncio async def main(): # "Search and Extract" logic... # Run the async main function asyncio.run(main()) Lépés #2: Végezze el az extrakciós fázist Tegyük fel, hogy AI-ügynökök támaszkodnak az MCP-integrációkra, és jelentést szeretnének készíteni arról, hogy a protokoll jövőbeli változásai hogyan befolyásolhatják őket, milyen új funkciók lesznek elérhetőek, és így tovább. A rendszeres LLM-k nem tudnak sokat segíteni ezzel a feladattal, mivel az MCP viszonylag új, és a legtöbb modellt a régebbi adatokra képezték. "new version of MCP" Hívja fel a SERP API-t, hogy a keresési lekérdezéshez elemzett Google SERP-eredményeket kapjon: # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) A színfalak mögött, a A funkció a megadott keresési lekérdezést használva hívja fel a SERP API-t. Ha több lekérdezés kezelésére van szüksége, hívhatja Versenyképes használata . fetch_serp() fetch_serp() asyncio.gather() : Alapértelmezés szerint a SERP API lekérdezésenként 10 eredményt ad vissza, de legfeljebb 100 eredményt adhat vissza. Note Visszaadja a Google SERP-eredményeket Python-szótárként. A tulajdonságok: fetch_serp() organic serp_ranking_results = serp_results.get("organic", []) Nyomtassa ki a keresési eredményeket, és kapjon hasonló kimenetet: Vegye figyelembe, hogy az array minden eleme pontosan megfelel annak az eredménynek, amit a Google-on a „MCP új verziójának” keresésével kapna: Lépés #3: Szűrje az érdeklődés URL-jeit A SERP API hívás által visszaküldött összes SERP eredményből feltételezzük, hogy érdeklődsz a " Domain (az MCP specifikáció hivatalos tartománya).Továbbá vegyük figyelembe a Google eredeti rangsorolását, mint azt a rangsorolást, amelyet meg akarunk őrizni. Következő Következő bejegyzések.io Következő Következő bejegyzések.io A következőket szűrjük le: # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_data_results: page_url = result.get("url") if "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) # Stop once reaching 3 results if len(page_url) == 3: break Az eredmény a „Kiválasztás” fázis során elérendő URL-ek listája lesz. Ebben a fázisban az azonosított URL-ek: [ "http://blog.modelcontextprotocol.io/posts/2025-11-25-first-mcp-anniversary/", "https://modelcontextprotocol.io/development/roadmap", "https://modelcontextprotocol.io/specification/2025-11-25" ] Itt az ideje, hogy kivonja az információkat ezekről az oldalakról! Lépés #4: Végezze el a kivonat fázist Használd a Hívja fel a Web Unlocker API-t, és párhuzamosan kapja meg a három kiválasztott oldalt: fetch_page() tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) : Ha olyan dinamikus webhelyről van szó, amely felhasználói interakciót igényel, vegye ki az adatokat a böngésző automatizálási technológiájával, például a Playwright technológiával, amely integrálva van a böngésző API-jével. Note Az eredmény egy sor, amely tartalmazza az egyes céloldalak tartalmát. Hozzáférés a feloldott Markdown tartalmakhoz az egyes oldalakból a következőkkel: markdown_pages = [page for page in web_page_results] Ellenőrizze, hogy az array valóban tartalmazza-e a céloldalak markdownját: for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") Ebben az esetben a kimenet: Ez megfelel az egyes célzott oldalak Markdown verziójának, ami azt jelenti, hogy a Web Unlocker API sikeresen elvégezheti a webes adatbányászatot, függetlenül attól, hogy vannak-e bármilyen anti-bot vagy anti-scraping intézkedések. Figyelembe véve ezeket a friss, kontextusos és ellenőrizhető adatokat, tárolja a további elemzéshez, továbbítsa azt egy LLM-nek feldolgozásra, használja fel további érdeklődésre számot tartó témák felderítésére, folytassa a mélyebb kutatást, vagy alkalmazza sok más felhasználási esetre. Lépés #5: Teljes kód A példa végleges változata a következő: # pip install aiohttp import asyncio import aiohttp import urllib.parse import json # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() async def main(): # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_results.get("organic", []): page_url = result.get("link") if page_url and "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) if len(pages_of_interest) == 3: break print("Pages to scrape:", pages_of_interest) # Extract phase: Scrape pages concurrently tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) # Access the content from each page markdown_pages = [page for page in web_page_results] print("Scraped page contents:") for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") # AI processing, RAG pipelines, or further workflows... # Run the async main function asyncio.run(main()) A Bright Data API-kész termékeinek köszönhetően hatékony, vállalati szintű, termelésre kész „Keresés és kivonat” munkafolyamatot hajthat végre kevesebb, mint 50 sor Python-kódban! következtetés Ebben a bejegyzésben megvizsgálta, hogy az adatvezetékek és az AI-munkafolyamatok miért függnek a naprakész, összefüggő és megbízható információktól. Az adatgyűjtés egyik legmegbízhatóbb módja a AI mintázat, amely hatékonyan standard megközelítéssé vált a magas színvonalú, ellenőrizhető webes adatokhoz való hozzáféréshez. fázis automatizálja a felfedezést a keresőmotorok között, míg a A fázis a legrelevánsabb eredményekből strukturált információkat von le. Keresés és kivonat Keresés Kiadvány ️ Amint ez a cikk egészében látható, egy AI-kész webes kaparási platform, például a Bright Data használatával a munkafolyamat végrehajtása praktikus és skálázható. és fedezze fel az összes webes adatmegoldását! Start a Bright Data free trial today Indítsa el a Bright Data ingyenes próbaverzióját ma Ezt a cikket a HackerNoon Business Blogging program közzéteszi. Ezt a cikket a HackerNoon Business Blogging program közzéteszi.