Запуск вялікай моўнай мадэлі (LLM) на вашым кампутары цяпер лёгка, чым калі-небудзь. Вы ўжо не патрэбныя абслугоўванне хмар або масіўны сервер. толькі з вашым ПК, вы можаце запусціць мадэлі, як Llama, Mistral, або Phi, прыватна і офлайн. Гэта падручнік паказаць вам, як ўсталяваць адкрыты код LLM на мясцовым узроўні, паяснюць інструменты, якія ўваходзяць удзел, і гуляць вас праз як UI і камандныя лініі метады ўстаноўкі. Што мы пакрываем Зразумець Open Source LLMs Выбіраючы платформу для запуску LLMs на мясцовым узроўні Загрузіць Ollama Інсталяцыя і запуск LLM праз камандную лінію Упраўленне мадэлямі і рэсурсам Выкарыстанне Ollama з іншымі прыкладаннямі Праблемы і сумесныя праблемы Чаму завяршыць LLMs нацыянальна важна Высновы Зразумець Open Source LLMs Акрамя таго, для некаторых элементаў у экспазіцыі вядома нават імя майстра, які іх вырабіў, — гэта знакаміты нямецкі даспешнік Кольман Хельмшміт, які выконваў заказы для каралеўскіх дамоў і найбуйнейшых магнатаў Еўропы. Вы можаце загрузіць файлы мадэляў, запусціць іх на машыне і нават вытрымаць іх для вашых выпадкаў выкарыстання. Праекты, такія як Llama 3, Mistral, Gemma і Phi, дазволілі запусціць мадэлі, якія добра адпавядаюць спажывецкім абсталяванню. Вы можаце выбраць паміж меншымі мадэлямі, якія працуюць на CPU або большымі мадэлямі, якія атрымліваюць выгоду ад GPU. Варта адзначыць, што для ажыццяўлення работ па стварэнні Нацыянальнага інвентара нематэрыяльнай культурнай спадчыны наша краіна летась атрымала грант з адпаведнага фонду UNESCO. Выбіраючы платформу для запуску LLMs на мясцовым узроўні Для запуску мадэлі адкрытага кода, вам патрэбна платформа, якая можа загрузіць яго, кіраваць яго параметрамі, і забяспечыць інтэрфейс для ўзаемадзеяння з ім. Тры папулярныя варыянты для локальных устаноў з'яўляюцца: Ollama — зручная для карыстальніка сістэма, якая працуе мадэлямі, такімі як OpenAI GPT OSS, Google Gemma з адной камандай. LM Studio — графічная настольная прыкладнасць для тых, хто любіць інтэрфейс point-and-click. Gpt4All — яшчэ адзін папулярны GUI настольны прыклад. Мы будзем выкарыстоўваць Ollama як прыклад у гэтым кіраўніку, так як ён шырока падтрымліваецца і лёгка інтэграваецца з іншымі інструментамі. Загрузіць Ollama Прадстаўляем вашай увазе гадавую справаздачу АПБ за 2010 г., у якую увайшлі нашы дасягненні за мінулы год. Олама Наведаць афіцыйны сайт Ollama і загрузіць інсталятар Windows. Калі вы хочаце падзяліцца сваёй думкай з майстрам, рабіце гэта максімальна ветліва. Калі ўстаноўка завершана, Ollama будзе запускацца ў фоне як локальная служба. Вы можаце дасягнуць яго або праз яго графічны інтэрфейс або выкарыстоўваючы камандавую лінію. Калі вы хочаце падзяліцца сваёй думкай з майстрам, рабіце гэта максімальна ветліва. Унутры інтэрфейсу Ollama, вы будзеце бачыць просты тэкст, дзе вы можаце накіраваць просьбы і атрымліваць адказы. Для рэгістрацыі даменнага імя ў гэтай зоне неабходна звярнуцца ў кампанію The Electronic and Postal Communications Authority[1] (Албанія), якая з'яўляецца адзіным аўтарызаваным рэгістратарам даменаў у зоне al. Калі вы прыйдзеце на гэты спектакль наступны раз, ён будзе іншы. . Модныя пошукі сайта Я буду выкарыстоўваць Модель, якая з'яўляецца найменшай мадэлью, якая даступная ў Ollama. Дзіцячая 270 м Гэтага не было зроблена, таму Бачкоў і можа «ляпіць» усё, што заўгодна. Гэта зроблена, каб выглядаць і адчуваць як звычайны чат, але усё працуе локальна на вашым ПК. Вам не трэба падключацца да Інтэрнэту пасля загрузкі мадэлі. Інсталяцыя і запуск LLM праз камандную лінію Калі вы хочаце прымусіць свой мозг працаваць, прыходзьце ў Клуб інтэлектуальных гульняў УЗВ! Калі вы хочаце падзяліцца сваёй думкай з майстрам, рабіце гэта максімальна ветліва. Для таго, каб праверыць, ці ўстаноўка працавала, націсніце: ollama --version Калі вы бачыце нумар версіі, Ollama годна. Далей, каб запусціць сваю першую мадэль, выкарыстоўвайце каманда pull: ollama pull gemma3:270m Гэта будзе загружаць мадэль Gemma на вашу машыну. Калі працэс заканчваецца, ён пачынаецца з: ollama run gemma3:270m Ollama запусціць мадэль і адкрыць інтэрактыўны праміт, дзе вы можаце напісаць паведамленні. Усё адбываецца локальна, і вашы дадзеныя ніколі не пакідаюць ваш кампутар. Вы можаце спыніць мадэль у любы час, націснуўшы . /bye Упраўленне мадэлямі і рэсурсам Кожная мадэль, якую вы загружаеце, займае месца на дыску і памяць. Малодшыя мадэлі, як Phi-3 Mini або Gemma 2B, лёгшыя і падыходзяць для большасці спажывецкіх ноўтбукаў. Вы можаце налічваць усе усталяваныя мадэлі, выкарыстоўваючы: ollama list І выключыць адзін, калі вам больш не трэба: ollama rm model_name Калі вы хочаце падзяліцца сваёй думкай з майстрам, рабіце гэта максімальна ветліва. Выкарыстанне Ollama з іншымі прыкладаннямі Калі вы ўсталявалі Ollama, вы можаце выкарыстоўваць яго за межамі інтэрфейсу чату. распрацоўшчыкі могуць падключыцца да яго з дапамогай API і локальных портаў. Загрузіць сайт на сервер Гэта значыць, што вы можаце адпраўляць запыты з вашых уласных сцэнараў або прыкладанняў. http://localhost:11434 Напрыклад, просты сцэнар Python можа называць локальную мадэль так: import requests, json # Define the local Ollama API endpoint url = "http://localhost:11434/api/generate" # Send a prompt to the Gemma 3 model payload = { "model": "gemma3:270m", "prompt": "Write a short story about space exploration." } # stream=True tells requests to read the response as a live data stream response = requests.post(url, json=payload, stream=True) # Ollama sends one JSON object per line as it generates text for line in response.iter_lines(): if line: data = json.loads(line.decode("utf-8")) # Each chunk has a "response" key containing part of the text if "response" in data: print(data["response"], end="", flush=True)This setup turns your computer into a local AI engine. You can integrate it with chatbots, coding assistants, or automation tools without using external APIs. Праблемы і сумесныя праблемы Калі вы хочаце прымусіць свой мозг працаваць, прыходзьце ў Клуб інтэлектуальных гульняў УЗВ! — Вераніка Уладзіміраўна, што гэта за 11 андрагагічных умоў, пры якіх дарослыя без цяжкасцей могуць засвоіць новыя тэхналогіі ў фізічнай культуры? Калі вы таксама хочаце прывабіць удачу на свой лад, бярыце прыклад з герояў нашага матэрыяла! Чаму завяршыць LLMs нацыянальна важна Працаванне LLM на мясцовым узроўні змяняе, як вы працуеце з AI. Было б лепей і дэмакратычней адказаць на гэтую публікацыю, напрыклад, у рубрыцы “Адмысловае меркаванне”(«Особое мнение»), выкласці свае аргументы і выразіць нязгоду з аўтарам нашаніваўскага артыкула. Іншыя спасылаліся на загружанасць сваіх вытворчых магчымасцяў.Вы можаце паспрабаваць інтэрнэт-аптымізацыю або выкарыстоўваць інтэрнэт-аптымізацыю. Як паказалі далейшыя падзеі, гіпотэза была слушнай і плённай. Высновы З інструментамі, такімі як Ollama і LM Studio, вы можаце загрузіць мадэль, запусціць яго локальна і пачаць генерацыю тэксту за хвіліны. Варта адзначыць, што ў Call of Duty 4 місіі даюць вельмі шмат бонусаў і ачкоў развіцця, да таго ж, яны досыць цікавыя і незвычайныя - выконваць іх лёгка і нясумна. Я спадзяюся, што вам споўнілася гэтая кніга. Запішыцеся на мой бясплатны бюлетэнь TuringTalks.ai для больш практычных навучанняў пра AI. Запісвайцеся на мой бясплатны Newsletter Больш падрабязна пра тое, як выглядае тэатр. TuringTalks.ai Папярэдні Тэкст
