Bright Data, අපි ගොඩනැගුවේ එබැවින් ඔව්, අපි සම්පූර්ණයෙන්ම වෙනස් අවශ්යතා ඇති පරිශීලකයන් (එවිට ලෝකයේ සෑම කොන්දේසි සිට) අන්තර්ජාල දත්ත ආකර්ෂණය කරන ආකාරය ගැන දෙයක් හෝ දෙකක් දන්නවා. limitless web data infrastructure for AI & BI දැන්, උසස් තත්ත්වයේ වෙබ් දත්ත වෙත ප්රවේශ වීම සම්බන්ධයෙන්, ඔබ දැනගත යුතු බල තුනක් ඇත. නරකයි නරකයි නරකයි නරකයි... අපි කතා කරන්නේ: ගින්න ️️️ MCP මෙම ප්රවේශයන් තුනක් තේරුම් ගැනීමට කාලය, ඔවුන් නිර්මාණය කරන අය සඳහා, සහ ක්රියාකාරී දර්ශන හරහා ආරම්භ කිරීමට ආකාරය! 1.API: අන්තර්ජාල දත්ත සඳහා ප්ලස්ටික් පාලම ඔබ හිතන විට” "අපි හිතට ආපු පළවෙනි දේ තමයි" » » ඇතුළත් කිරීම ගිනි ඔබ backend, frontend app, හෝ script එකක් ලිව්වා නම්, තුන්වන පාර්ශව සේවාවන් සමඟ සංයෝජනය කිරීම සාමාන්යයෙන් API ඇමතුමක් පමණයි. Take Bright Data. Most of API හරහා ලබා ගත හැක: Bright Data නිෂ්පාදන Web Scraper API → 120+ වෙබ් අඩවි වලින් සංයුක්ත දත්ත ඉවත් කරන්න. ප්රොක්සයිස් නොමැත, කරදරයක් නොමැත, ඉල්ලුම මත පමණක් පිරිසිදු ප්රතිඵල. Browser API → Playwright, Puppeteer, හෝ Selenium scripts ක්රියාත්මක කරන්න CAPTCHA-solving, proxy rotation, සහ zero setup සමග. Web Unlocker API → Blocks හා CAPTCHA වෙත සමුගන්න. සාර්ථක ප්රතිඵල සඳහා පමණක් ගෙවන්න, සහ මුහුණේ ඇඟිල්ලක් නැගීමකින් තොරව ගෝලීයව scrape. SERP API → Google, Yandex සහ තවත් අයගෙන් භූගෝලීය ඉලක්කයක් සහිත සෙවුම් ප්රතිඵල ලබා ගන්න - සම්පූර්ණයෙන්ම විශ්ලේෂණය කර භාවිතා කිරීමට සූදානම්. Crawl API → root URL ක්රියාත්මක කර HTML, JSON, Markdown හෝ සරල පෙළේ සම්පූර්ණ වෙබ් අඩවි ගබඩා කරන්න. ️ නිෂ්පාදන නාමයෙහි "API" කියවන විට හේතුවක් ඇත... ඒ සත් යය API වසර ගණනාවක් තිස්සේ සම්මත වී ඇත (එබැවින් පැහැදිලි විස්තර සමඟ ඔබට බිය විය යුතු නැත 😉). all those services are available via API සැපයුම්කරු (Bright Data, මෙම අවස්ථාවේදී) ආකෘතිය, පුළුල් කිරීම, යාවත්කාලීන කිරීම, ස්ථාපනය කිරීම, අවහිර කිරීමේ ලෝහය ... සාමාන්යයෙන් සංවර්ධකයාට හිසකෙස් ලබා දෙන සංකීර්ණ දේවල්. ! ක් රියාකාරීත්වය මෙහිදී, ක්රියාකාරීත්වය අදහස් කරන්නේ අන්තර්ජාලයට විවෘතව, නොමිලේ, අසීමිතව සමන්විත ප්රවේශයයි. පෘථිවියෙහි වඩාත්ම වටිනා දේපල! web data ඔවුන්ගේ අතිශයින්ම ආකර්ෂණීයත්වය නිසා, ඩෙලෝයිට් හෝ මැක්ඩොනල්ඩ්ස් වැනි. API සමඟ, ඔබට නිර්මාණය කළ හැකි දේට සීමාවක් නැත! APIs work for individual developers, small to mid-sized companies, and even enterprises ආරම්භ කිරීම පැහැදිලි දත්ත ගිණුමක් නිර්මාණය කිරීම, . Web Unlocker ප්රදේශයක් ස්ථාපනය කරන්න, ඔබේ Bright Data API Key ලබා ගන්න ඉන්පසු මෙම Python සංකේතය හරහා Web Unlocker (API හරහා ලබා ගත හැකි scraping සේවා වලින් එකක්) අමතමින් එය පරීක්ෂා කරන්න: # pip install requests import requests headers = { # Step 1: Get your API token here: https://brightdata.com/cp/setting/users "Authorization": "Bearer <YOUR_BRIGHT_DATA_API_TOKEN>", "Content-Type": "application/json" } data = { # Step 2: Get your Web Unlocker zone name here: https://brightdata.com/cp/zones "zone": "web_unlocker1", # Step 3: Set your target URL "url": "https://www.scrapingcourse.com/cloudflare-challenge", "format": "raw" } # Make a POST request to the Bright Data Web Unlocker API url = "https://api.brightdata.com/request" response = requests.post(url, json=data, headers=headers) # Print the API response print(response.text) ප් රතිඵලය මේ වගේ දෙයක් වනු ඇත: <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <meta http-equiv="X-UA-Compatible" content="ie=edge"> <title>Cloudflare Challenge - ScrapingCourse.com</title> <!-- ... --> </head> <body data-new-gr-c-s-check-loaded="14.1174.0" data-gr-ext-installed="" itemscope itemtype="http://schema.org/WebPage"> <header itemscope itemtype="http://schema.org/WPHeader"> <!-- ... --> </header> <div class="challenge-info bg-[#EDF1FD] rounded-md p-4 mb-8 mt-5" id="challenge-info" data-testid="challenge-info" data-content="challenge-info"> <div class="info-header flex items-center gap-2 pb-2" id="info-header" data-testid="info-header" data-content="info-header"> <img width="25" height="15" src="https://www.scrapingcourse.com/assets/images/challenge.svg" data-testid="challenge-image" data-content="challenge-image" alt="Challenge Icon"> <h2 class="challenge-title text-xl font-bold" id="challenge-title" data-testid="challenge-title" data-content="challenge-title"> You bypassed the Cloudflare challenge! :D </h2> </div> </div> <!-- ... --> </body> </html> Boom! 💥 එය Web Unlocker විසින් විවෘත කරන ලද HTML ය, ඔබ පිසීමට සහ ඉවත් කිරීමට සූදානම් වේ. මේ වීඩියෝවෙන් වැඩි විස්තර දැනගන්න: https://www.youtube.com/watch?v=N3DkHwqSweA&embedable=true SDK: The Developer's Toolkit for Web Data - වෙබ් දත්ත සඳහා සංවර්ධකයාගේ මෙවලමක් API Endpoints සෘජුවම ඇමතුම් කිරීම ඔබට ලබා දෙයි පාලන උපරිම But let’s be real… it also comes with longer development times, error handling overhead, and updates every time the API changes. 😩 ඒක තමයි කොහෙද SDK ඔබගේ ප්රියතම නිෂ්පාදන හා සේවාවන් වෙත ප්රවේශය පහසු කරයි. SDKs come in! https://www.youtube.com/watch?v=kG-fLp9BTRo&embedable=true විශේෂයෙන්ම, The Bright Data's scraping and search tools with single method calls - Bright Data's scraping and search tools with single method calls - විවෘත මූලාශ්රය පුස්තකාලයක්! පැහැදිලි දත්ත Python SDK පැහැදිලි දත්ත Python SDK ඔව් Raw API ඉල්ලීම් සකස් කිරීමෙන් වඩා පහසු ක් රමයක්. flip side, you are limited to what the SDK exposes in terms of available methods and configurations. For some projects, that may feel restrictive... a single method! ✔️ : දැනට, SDK පමණක් ලබා ගත හැක ඒ කියන්නේ ඔබ වෙනත් භාෂාවෙන් coding කරන්නේ නම්, ඔබට එය භාවිතා කිරීමට නොහැකි වනු ඇත. Note Python and ජාවාරම් ජාවාරම් කෙසේ වෙතත්, එක් ක්රමයක් ඇමතීම සහ භාවිතා කිරීමට සූදානම් වෙබ් දත්ත ආපසු ලබා ගැනීම තවමත් ඉතා සුන්දරයි. 😎 ලබා ගත හැකි සියලුම SDK ක්රම සොයා ගැනීමට අවශ්යද? Method Feature Description scrape() Scrape websites Scrape any website with Bright's anti-bot bypass capabilities search() Web search Query Google and other search engines (supports batch searches) crawl() Web crawling Discover and scrape multiple pages with filtering and depth control extract() AI data extraction Extract specific info using natural language queries and OpenAI parse_content() Content parsing Extract text, links, images, and structured data from JSON or HTML connect_browser() Browser automation Get a WebSocket endpoint for Playwright/Selenium integration search_chatGPT() ChatGPT search Prompt ChatGPT, scrape answers, and handle follow-ups , , , scrape_linkedin.posts() scrape_linkedin.jobs() scrape_linkedin.profiles() scrape_linkedin.companies() Scrape LinkedIn Scrape LinkedIn and get structured data , download_snapshot() download_content() Download web data from snapshots Download content for sync or async requests scrape() Scrape වෙබ් අඩවි Bright's Anti-Bot Bypass හැකියාවන් සමඟ ඕනෑම වෙබ් අඩවියක් Scrape කරන්න search() WEB සොයන්න Query Google සහ අනෙකුත් සෙවුම් යන්ත්ර (අධික සෙවුම් සහාය) crawl() Crawling වෙබ් ෆයිල්ටර් සහ ගැඹුර පාලනය සමඟ බොහෝ පිටු සොයා ගැනීම සහ සොරා ගැනීම extract() දත්ත අමුද් රව් ය ස්වාභාවික භාෂා ප්රශ්න සහ OpenAI භාවිතා කිරීම parse_content() ප්රමාණය Parsing JSON හෝ HTML වලින් Text, Links, Images, and Structured Data ඉවත් කිරීම connect_browser() Browser ස්වයංක්රීයත්වය Playwright / Selenium සම්මත කිරීම සඳහා WebSocket අංගයක් ලබා ගන්න search_chatGPT() ChatGPT සොයන්න ChatGPT ප්රවේශ, පිළිතුරු scrape, සහ අනුගමනය කළමනාකරණය , , , scrape_linkedin.posts() scrape_linkedin.jobs() scrape_linkedin.profiles() scrape_linkedin.companies() Linkedin පිටපත් LinkedIn Scrape සහ සංයුක්ත දත්ත ලබා ගන්න , download_snapshot() download_content() Snapshots වලින් Web Data බාගත කිරීම Sync හෝ Async ඉල්ලීම් සඳහා අන්තර්ගතය බාගත කිරීම : Docs බලන්න, නව ක්රම ඉක්මනින් එකතු විය හැක! Disclaimer ආරම්භ කිරීම Bright Data Python SDK ස්ථාපනය කිරීම: pip install brightdata-sdk , pass it to the Class (හෝ එය ස්ථාපනය කරන්න පරිසර වෙනස්කම්), සහ ESPN වැනි සැබෑ ලෝක වෙබ් අඩවියක් එක් ක්රමයක් කැඳවීමෙන් කපන්න: ඔබේ Bright Data API Key ලබා ගන්න Admin එක අවසර bdclient BRIGHTDATA_API_TOKEN Admin එක # pip install brightdata-sdk from brightdata import bdclient # Initialize the Bright Data SDK client = bdclient(api_token="<YOUR_BRIGHT_DATA_API_KEY>") # The API key can also be defined as a BRIGHTDATA_API_TOKEN environment variable # The target page page_url = "https://www.espn.com/tennis/story/_/id/46190196/carlos-alcaraz-defeats-rival-jannik-sinner-us-open" # Scrape a news article and print it news = client.scrape( url=page_url, data_format="markdown", # Parse the result to Markdown ) print(news) ප් රතිඵලය වන්නේ: Carlos Alcaraz defeats rival Jannik Sinner at US Open - ESPN (...) NEW YORK -- Three years after winning his first major title and becoming the youngest No. 1 player in history, \[Carlos Alcaraz\](https://www.espn.com/sports/tennis/players/profile?playerId=3782) reclaimed his place atop the sport with another win at the US Open. On Sunday, facing rival \[Jannik Sinner\](https://www.espn.com/sports/tennis/players/profile?playerId=3623) for the third straight major final, Alcaraz, from Spain, utilized his powerful forehand, ever-improving serve and electric athleticism for a 6-2, 3-6, 6-1, 6-4 victory in a relatively swift 2 hours, 42 minutes. In doing so, he took back the world's top ranking from Sinner, after a 65-week run, and extended his head-to-head record to 10-5 over the Italian player. After Alcaraz secured the win with an ace on his third championship point, he threw his hands in the air above his head before crouching over on his knees with his trademark smile radiating across his face. Seconds later, he was hugging Sinner at the net and the two -- who have a friendly relationship -- had their arms around each other as they walked off the court. (omitted for brevity...) අලූත් අලූත් අලූත් අලූත් MCP: අන්තර්ජාල දත්ත සඳහා AI-first free gateway API, SDK... ඔව්, එහි කිසිදු නවයක් නැත. API ඕනෑම වැඩසටහන් භාෂාවක custom integrations සඳහා පරිපූර්ණ වේ. SDKs? නමුත් ඔබ අන්තර්ජාල දත්ත ප්රවේශය සමඟ AI supercharge කිරීමට අවශ්ය නම් කුමක්ද? Sure, you API (හෝ පවා SDK) මත ගොඩනැගීම, එවැනි LangChain, Hugging Face, LlamaIndex, CrewAI සහ සමාන වැනි frameworks සඳහා AI-ready කාර්යයන් නිර්මාණය කිරීම සඳහා. AI සමඟ කටයුතු කරන විට ඔබට අවශ් ය දේ නොවේ, එය කාලය නාස්ති කිරීම සඳහා වේගයෙන් ගමන් කරයි. could boilerplate code and slow integrations https://www.youtube.com/watch?v=7j1t3UZA1TY&embedable=true දැන් Bright Data හි වඩාත්ම බලවත් වෙබ් සෙවුම්, ආකෘති සහ දත්ත ප්රතිලාභ විසඳුම් AI සමඟ සම්බන්ධ කිරීමට ක්රමයක් සිතන්න... (ඔව්, ඔයා ඒක කියෙව්වේ හරි 😉 ) ඔබ වෙනුවෙන් ! ගාස්තු නැත Bright Data’s Web MCP server Bright Data’s Web MCP server MCP යනු විවෘත AI ප්රොටොටෝලයක් වන අතර එය AI යෙදුම් සහ නියෝජිතයන් අන්තර්ගතය තුළ ඇති නිෂ්පාදන වැනි බාහිර මෙවලම් සමඟ සම්බන්ධ වන ආකාරය සහ භාවිතා කරන ආකාරය සම්මත කරයි. මූලික වශයෙන් : Bright Data පද්ධතිය Install the Web MCP locally. Configure it in CLI solutions like Gemini CLI or Claude Code, AI agent frameworks like CrewAI or LangChain, or desktop AI chat apps like Claude Desktop. The AI agent immediately gains access to these two tools ( ): for free! නොමිලේ වෙනුවෙන් ! Tool Description search_engine Scrape search results from Google, Bing, or Yandex. Returns SERP results in (URL, title, description). Markdown scrape_as_markdown Scrape a single webpage URL with advanced content extraction. Returns results in . Works even on pages with bot detection or CAPTCHA. Markdown search_engine Google, Bing, හෝ Yandex හි සෙවුම් ප්රතිඵල සකස් කිරීම. (URL, Title සහ Description) Markdown scrape_as_markdown Advanced Content Extraction සමඟ එක් වෙබ් පිටුවක URL ක්රියාත්මක කරන්න. Bot Detection හෝ CAPTCHA සහිත පිටු පවා වැඩ කරයි. Markdown කෙටියෙන් කියන්න : -LLMs සාමාන්යයෙන් සටන් කරන කාර්ය. 🔥 your AI agents can now search the web and scrape any page එය ආරම්භය පමණි.Bright Data ගිණුම සඳහා මූල්ය සපයන්න , cloud browser interaction, web automation සහ තවත් බොහෝ දේ ඇතුළත්. විලාසිතා unlock ~50 more advanced tools : Bright Data Web MCP සේවාදායකය ද දුරස්ථව ක්රියා කරයි, ඕනෑම තැනක, ඕනෑම වේලාවක ඔබගේ AI වැඩ ප්රවාහන සහාය වේ. Cool note ආරම්භ කිරීම ඔබේ Bright Data API යතුර අල්ලන්න සහ Bright Data Web MCP සේවාදායකය මෙහෙම සැකසුම් සහිත බොහෝ තාක්ෂණය තුළ සැකසුම් කිරීම සඳහා භාවිතා කරන්න: { "mcpServers": { "Bright Data": { "command": "npx", "args": ["-y", "@brightdata/mcp"], "env": { "API_TOKEN": "<YOUR_BRIGHT_DATA_API_KEY>" } } } } එසේම, ඔබේ නියෝජිතයාට දැන් නව විශේෂාංග සම්පූර්ණයක් වෙත ප්රවේශයක් ඇත – අපි HackerNoon හි මෙහි සඳහන් කර ඇති පරිදි: MCP + OpenAI නියෝජිතයන් SDK: ශක්තිමත් AI නියෝජිතයක් ගොඩනඟන ආකාරය. MCP + OpenAI නියෝජිතයන් SDK: ශක්තිමත් AI නියෝජිතය ගොඩනැගීම වෙනත් ආකාරයකින්, මෙහි Web MCP ක්රියාවලිය බලන්න: https://www.youtube.com/watch?v=W99pmJLM90I API vs SDK vs MCP for Web Data: සමාලෝචන තැපැල් Method Project Size Target Audience Platform Control Integration Difficulty Price API From small to large projects Individual developers, small teams, large teams Any programming language or solution that can make an API call Maximum Medium Pay only for successful requests SDK Mainly small to medium projects Python/JavaScript developers, small teams Python and JavaScript/Node.js projects Medium Low Free SDKs, then pay for successful requests only MCP AI agent projects of any size AI enthusiasts, vibe coders Any AI framework or solution supporting MCP integration Low (as AI does its magic) Very low Free (with premium tools available) API කුඩා ව් යාපෘති වලට විශාල ව් යාපෘති පෞද්ගලික සංවර්ධකයින්, කුඩා කණ්ඩායම්, විශාල කණ්ඩායම් ඕනෑම වැඩසටහන් භාෂාව හෝ විසඳුමක් API ඇමතුමක් කළ හැකිය උපරිම මධ් යම සාර්ථක ඉල්ලීම් සඳහා පමණක් ගෙවීම SDK ප් රධාන වශයෙන් කුඩා හා මධ් යම ව්යාපෘති Python/JavaScript Developers, කුඩා කණ්ඩායම් Python සහ JavaScript / Node.js ව්යාපෘති Medium අඩු Free SDKs, then pay for successful requests only MCP ඕනෑම ප්රමාණයේ AI Agent Projects ආකර්ෂණය, vibe coders MCP සම්බන්ධතාවය සහාය කරන ඕනෑම AI framework හෝ විසඳුමක් අඩු ගාණේ මැජික් කරනව වගේ) ඉතා අඩු නොමිලේ (ප්රමිති මෙවලම් සමඟ ලබා ගත හැකිය) අවසන් සිතුවිලි දැන් ඔබ වෙබ් දත්ත වෙත ප්රවේශ වීමට හොඳම ක්රම තුනක් සහ ඒවා වෙනස් වන ආකාරය දන්නා අතර, ඔබ ඔබේ ව්යාපෘතිය සඳහා නිවැරදි ප්රවේශය තෝරා ගත හැකිය. . ප්රමාණයේ දී විවිධ භාවිතය ප්රවේශයන් සහාය කරන වෙබ් දත්ත උපාංගය Bright Data හි අපගේ මෙහෙයුම සරල ය: ඕනෑම කෙනෙකුට, ඕනෑම තැනක - API, SDK හෝ AI හරහා MCP හරහා අන්තර්ජාලය ප්රවේශවත් කිරීම.