Nyílt forráskódú projektem: Rugalmas multimodális nyelvi modellkeret a PyTorch számára A multimodális mesterséges intelligencia ígérete mindenhol megtalálható, a fejlett egészségügyi diagnosztikától a gazdagabb, dinamikusabb ügyfélélmények megteremtéséig. De nekünk, akik a lövészárkokban vagyunk, a multimodális rendszerek építése – amelyek képesek szövegek, képek, hangok és egyéb feldolgozására is – gyakran úgy érzik, mint az egyéni integrációk, az alapkód és a kompatibilitási problémák végtelen szövevénye. Ez volt a csalódottságom, és végül ez vezetett az létrehozásához. AnyModal Miért a multimodális AI? Lássuk be: az emberi interakciók a világgal nem korlátozódnak egyfajta adatra. Egyszerre értelmezzük a szavakat, a látványt, a hangokat és a fizikai érzéseket. A multimodális mesterséges intelligencia koncepciója ebből az ötletből fakad. Azáltal, hogy több típusú adatot hoznak ugyanabba a feldolgozási folyamatba, a multimodális mesterséges intelligencia lehetővé teszi, hogy a modellek olyan feladatokat kezeljenek, amelyek korábban túl bonyolultak voltak az egymodalitású rendszerek számára. Képzeljen el olyan egészségügyi alkalmazásokat, amelyek együtt elemzik a röntgenfelvételeket és az orvosi feljegyzéseket, vagy olyan ügyfélszolgálati rendszereket, amelyek mind a szöveges, mind a hangjelzéseket figyelembe veszik az ügyfelek hangulatának pontos felméréséhez. De itt van a kihívás: bár a szöveg (például GPT) vagy a képek (mint például a ViT) egymódusú modelljei jól beváltak, ezek kombinálása a gördülékeny interakcióhoz nem egyszerű. A technikai bonyolultság sok kutatót és fejlesztőt meggátolt a multimodális mesterséges intelligencia hatékony feltárásában. Írja be . az AnyModalt Probléma a meglévő multimodális megoldásokkal A gépi tanulással kapcsolatos munkám során észrevettem, hogy bár az olyan eszközök, mint a GPT, a ViT és az audioprocesszorok külön-külön is erőteljesek, a multimodális rendszerek létrehozása ezen eszközök kombinálásával gyakran azt jelenti, hogy nehézkes, projektspecifikus kóddal kell összefűzni őket. Ez a megközelítés nem skálázható. A modalitások integrálására szolgáló jelenlegi megoldások vagy nagyon speciálisak, csak meghatározott feladatokra (például képaláírásra vagy vizuális kérdések megválaszolására) készültek, vagy elkeserítő mennyiségű mintakódot igényelnek, hogy az adattípusok együtt működjenek. A meglévő keretrendszerek szűken a modalitások meghatározott kombinációira összpontosítanak, megnehezítve az új adattípusokba való kiterjesztést, vagy ugyanazt a beállítást a különböző feladatokhoz. A mesterséges intelligencia modellek „sillózott” szerkezete azt jelentette, hogy folyamatosan újra feltaláltam a kereket. Ekkor döntöttem úgy, hogy megépítem – egy rugalmas, moduláris keretrendszert, amely minden típusú adatot gond nélkül egyesít. az AnyModalt Mi az AnyModal? egy olyan keretrendszer, amelyet a multimodális AI-fejlesztés egyszerűsítésére és ésszerűsítésére terveztek. Úgy készült, hogy csökkentse a különböző beviteli típusok kombinálásának bonyolultságát a tokenizálás, a kódolás és a nem szöveges bevitelek generálása révén, megkönnyítve új adattípusok hozzáadását a nagy nyelvi modellekhez (LLM). Az AnyModal A koncepció a bemeneti csővezeték moduláris megközelítése körül forog. Az AnyModal segítségével kicserélheti a funkciókódolókat (például a Vision Transformert a képekhez vagy a spektrogram processzort a hanghoz), és zökkenőmentesen csatlakoztathatja őket egy LLM-hez. A keretrendszer absztrahálja a bonyolultság nagy részét, ami azt jelenti, hogy nem kell heteket töltenie a kód írásával, hogy ezek a rendszerek kompatibilisek legyenek egymással. Az AnyModal alapjai: Bemeneti tokenizálás Az AnyModal kulcsfontosságú összetevője a , amely áthidalja a szakadékot a nem szöveges adatok és az LLM szövegalapú beviteli feldolgozása között. Így működik: beviteli tokenizátor : Minden modalitáshoz (például képekhez vagy hanghoz) speciális kódolót használnak az alapvető funkciók kinyerésére. Például, amikor képekkel dolgozik, az AnyModal Vision Transformert (ViT) használhat, amely feldolgozza a képet, és egy sor jellemzővektort ad ki. Ezek a vektorok olyan kulcsfontosságú szempontokat rögzítenek, mint például az objektumok, a térbeli kapcsolatok és a textúrák, amelyek elengedhetetlenek az olyan alkalmazásokhoz, mint a képaláírások vagy a vizuális kérdések megválaszolása. Jellemzők kódolása : A kódolás után a jellemzővektorok gyakran nem egyeznek meg az LLM tokenterével. A zökkenőmentes integráció biztosítása érdekében az AnyModal egy vetítési réteget használ, amely átalakítja ezeket a vektorokat az LLM bemeneti tokenjeihez igazodva. Például a ViT kódolt vektorai az LLM beágyazási terébe vannak leképezve, lehetővé téve a multimodális adatok koherens áramlását az LLM architektúrán belül. Vetítési réteg Ez a kétrétegű megközelítés lehetővé teszi a modell számára, hogy a multimodális adatokat egyetlen sorozatként kezelje, lehetővé téve, hogy olyan válaszokat generáljon, amelyek figyelembe veszik az összes bemeneti típust. Lényegében az AnyModal a különböző adatforrásokat olyan egységes formátumba alakítja, amelyet az LLM-ek megérthetnek. Hogyan működik: Példa képbemenetekkel Az AnyModal működésének megértéséhez nézzünk meg egy példát a képadatok LLM-ekkel való használatára. from transformers import ViTImageProcessor, ViTForImageClassification from anymodal import MultiModalModel from vision import VisionEncoder, Projector # Step 1: Initialize Vision Components processor = ViTImageProcessor.from_pretrained('google/vit-base-patch16-224') vision_model = ViTForImageClassification.from_pretrained('google/vit-base-patch16-224') vision_encoder = VisionEncoder(vision_model) # Step 2: Define Projection Layer for Compatibility vision_tokenizer = Projector(in_features=vision_model.config.hidden_size, out_features=768) # Step 3: Initialize LLM and Tokenizer from transformers import AutoTokenizer, AutoModelForCausalLM llm_tokenizer = AutoTokenizer.from_pretrained("gpt2") llm_model = AutoModelForCausalLM.from_pretrained("gpt2") # Step 4: Build the AnyModal Multimodal Model multimodal_model = MultiModalModel( input_processor=None, input_encoder=vision_encoder, input_tokenizer=vision_tokenizer, language_tokenizer=llm_tokenizer, language_model=llm_model, input_start_token='<|imstart|>', input_end_token='<|imend|>', prompt_text="Describe this image: " ) Ez a moduláris beállítás lehetővé teszi a fejlesztők számára, hogy különböző kódolókkal és LLM-ekkel csatlakoztassák és játsszanak, így a modellt különféle multimodális feladatokhoz igazítják, a képaláírástól a kérdés megválaszolásáig. Az AnyModal jelenlegi alkalmazásai Az AnyModalt már számos felhasználási esetre alkalmazták, izgalmas eredményekkel: : Összetett matematikai egyenletek fordítása olvasható szöveggé. LaTeX OCR : Orvosi leírások generálása az egészségügy diagnosztikai támogatásához. Mellkasröntgen feliratozás : Képaláírások automatikus generálása vizuális tartalomhoz, ami hasznos a kisegítő lehetőségek és a médiaalkalmazások szempontjából. Képfeliratok A különböző adattípusok kezelésének bonyolultságainak elvonatkoztatásával az AnyModal lehetővé teszi a fejlesztők számára, hogy gyorsan prototípusokat készítsenek vagy fejlett rendszereket finomítsanak anélkül, hogy a multimodális integrációból adódó szűk keresztmetszetek jelentkeznének. Miért érdemes AnyModalt használni? Ha multimodális rendszert próbál felépíteni, valószínűleg a következő kihívásokkal találkozott: Nagy bonyolultság a különböző adattípusok LLM-ekhez való igazításában. Redundáns és fárasztó alapkód minden egyes modalitáshoz. Korlátozott méretezhetőség új adattípusok hozzáadásakor. Az AnyModal kezeli ezeket a fájdalmas pontokat azáltal, hogy csökkenti a hőcserélőt, rugalmas modulokat kínál, és lehetővé teszi a gyors testreszabást. A kompatibilitási problémákkal való küzdelem helyett a fejlesztők az intelligens rendszerek gyorsabb és hatékonyabb kiépítésére összpontosíthatnak. Mi a következő AnyModal? Az AnyModal útja még csak most kezdődik. Jelenleg azon dolgozom, hogy kiegészítsem a további módozatokat, például a hangfeliratokat, és bővítsem a keretrendszert, hogy még jobban alkalmazkodhassam a szűk körű felhasználási esetekhez. A közösségi visszajelzések és hozzájárulások kulcsfontosságúak a fejlesztéshez – ha érdekli a multimodális mesterséges intelligencia, szívesen meghallgatom az ötleteit vagy az együttműködést. Hol található AnyModal : GitHub https://github.com/ritabratamaiti/AnyModal?embedable=true Reddit közösség https://www.reddit.com/r/AnyModal/?embedable=true : Ölelő arc https://huggingface.co/AnyModal?embedable=true Ha izgatja a multimodális mesterséges intelligencia, vagy szeretné leegyszerűsíteni fejlesztési folyamatát, próbálja ki az AnyModalt. Dolgozzunk együtt az AI innováció következő határának feltárásán.
