EXO – amikor a Macek összedolgoznak – MI
A legfeltűnőbb sárga EXO felirat (l. köv kép) nyílt forráskódú projektet jelzi, amellyel több számítógépet lehet egyetlen, mesterséges intelligenciát futtató rendszerbe kapcsolni.A hagyományos megoldás az, hogy letöltünk egy AI-modellt, majd egyetlen számítógépen futtatjuk. Ez addig működik, amíg a modell belefér a rendelkezésre álló memóriába, és a gép számítási teljesítménye elegendő a használatához. A nagy nyelvi modellek azonban sok memóriát igényelnek. Nem ritka, hogy egy modell több tíz, sőt több száz gigabájtot foglalna el. Ilyenkor jön jól az EXO: a modellt részekre osztja, és a különböző számítási feladatokat több gépre teríti szét. A két Mac mini tehát nem két külön mesterséges intelligenciát futtat, hanem egyetlen modellen dolgozhat közösen. Az EXO képes megkeresni a helyi hálózaton a többi részt vevő számítógépet, felmérni azok erőforrásait, és elosztani közöttük a munkát. A kezeléséhez böngészős felületet biztosít, saját chatfunkcióval, modellválasztóval, valamint a gépek állapotának megjelenítésével.
Az EXO egyik szépsége, hogy nem kizárólag drága munkaállomásokkal használható. Egyszerűbb számítógépekből is építhető vele AI-klaszter. A cluster (magyarosan klaszter) itt együttműködő számítógépek csoportját jelenti.
Mit tud a két Mac mini?
A fényképen két, egyenként 16 GB memóriájú Mac mini szerepel. A pontos processzortípust nem jegyeztem fel (ejnye-ejnye), de az Ikont ismerve M5, de lehet, hogy M6 volt. Az első gép 9,2 GB memóriát használt, ez 57 százalékos kihasználtság. A második 12,1 GB-t (76 százalék). Az EXO mindkét számítógép hőmérsékletét és teljesítményfelvételét is mutatja. A hőmérséklet sem elhanyagolható, a kis- és közepes-cégek valamiért előszertettel teszik zárt, nem szellőző helyiségbe a szervert és aktív eszöközöket, majd nyáron csodálkoznak. A teljesítmény talán érthetőbb, senki sem szeretné, ha a villanyóra leolvadna és kifizetnénk rá a jövőt is. Az első Mac mini 37 °C-os, a másik 58 °C-os, miközben a kijelzett teljesítményfelvételük 6, illetve 15 watt. Jegyezzük meg, ezek pillanatnyi adatok – fotót látunk, de tanúsítom, nem volt nagy ingás akkor sem, amikor folyamatosan kéredztük a rendszert.A két Macben összesen 32 GB memória van, de ebből nem lesz egyetlen 32 GB-os Mac. A gépek továbbra is saját memóriájukat használják, és a szükséges adatokat a hálózaton továbbítják egymásnak. Az EXO egyik feladata éppen ennek az együttműködésnek a megszervezése.
PIPELINE
A képernyőkép jobb oldalán láthatóPIPELINE · MLX RING felirat további részleteket árul el. A pipeline ebben az esetben azt jelenti, hogy a mesterségesintelligencia-modell különböző rétegei különböző számítógépeken futnak. A feldolgozás közben az eredmények egyik gépről a másikra kerülnek.
Az MLX az Apple által fejlesztett, Apple Silicon processzorokra optimalizált gépi tanulási keretrendszer. Kihasználja, hogy ezekben a Macekben a CPU és a GPU közös memóriaterületet érhet el. A Ring az MLX egyik hálózati kommunikációs megoldása, amely a részt vevő gépek között továbbítja az adatokat Etherneten, wifin vagy Thunderbolt-kapcsolattal – itt ez utóbbi történt. Az összekapcsolás nem feltétlenül eredményez gyorsabb működést. A gépek közötti adatátvitel ugyanis időt vesz igénybe. A legfontosabb előny inkább az, hogy nagyobb, egyetlen számítógép memóriájába már be nem férő modelleket is futtathatunk.
És ki az a Gemma?
A képen az EXO paneljén agemma-4-e4b-it-6bit modell van kiválasztva. A Gemma 4 a Google 2026 márciusában bemutatott mesterségesintelligencia-modellcsaládja. A Gemini névvel könnyű összekeverni, hiszen mindkettő a Google fejlesztése. A Gemma azonban olyan, nyílt súlyokkal hozzáférhető modelleket kínál, amelyeket saját számítógépen is futtathatunk. A bemutatón a Gemma 4 egyik kisebb változata szerepel. Nevében az E4B arra utal, hogy a modell mintegy 4,5 milliárd effektív paraméterrel dolgozik, miközben összesen körülbelül nyolc milliárd paramétert tartalmaz. A paraméterek leegyszerűsítve a modell tanulás során kialakított belső értékei, amelyek meghatározzák a működését.
A név végén szereplő
6bit azt mutatja, hogy a modellt kvantálták. Ez azt jelenti, hogy a paramétereit kisebb pontossággal tárolják, amivel jelentősen csökkenthető a memóriaigénye. Ezért a fényképen látható modell mindössze körülbelül 7 GB-os. Az it az instruction tuned rövidítése: a modellt utasítások követésére, kérdések megválaszolására és beszélgetésre finomhangolták. A modell a Hugging Face oldaláról származik. Ez az AI-modellek egyik legfontosabb internetes gyűjtőhelye, ahonnan számtalan, helyben futtatható modellt lehet letölteni.
Egy apró érdekesség: a képen szereplő 7 GB-os modell egyetlen 16 GB-os Mac minin is elférhet. Vagyis ehhez a konkrét modellhez nem feltétlenül kell a két gép. A bemutató inkább annak szemléltetésére alkalmas, hogyan lehet több Macet közös AI-rendszerként használni.
A sebesség és egy magyar kérdés
A képernyő bal oldalán korábbi beszélgetések listája látható. A készülékekkel nem kizárólag a Google Gemma modelljét próbálták ki. A felsorolásban feltűnik a Qwen 3,5 egyik 9 milliárd paraméteres, négybites változata és egy NVIDIA Nemotron-modell is.Az egyik feltett kérdés „Mi az a citromsav-ciklus?” volt, igen, magyar nyelven is tesztelték a rendszert. A beszélgetés tartalma ugyan nem látható, de néhány teljesítményadat igen.
A Nemotron-modell melletti mérés szerint az első token megjelenéséig 10,929 másodperc telt el. Ez a TTFT (Time To First Token) érték. Utána a rendszer másodpercenként 19,8 tokent generált. A token nem pontosan egy szó, hanem a szöveg feldolgozásának kisebb egysége. A 19,8 token/másodperc már folyamatosan olvasható szöveggenerálást jelenthet. Az első válaszdarabig eltelt közel 11 másodperc viszont jól érzékelhető várakozás.
Mivel a citrumsav ciklus és a 𝜋 értékének kiszámolását a bejegyzés írója aránylag könnyű feladatnak ítélte meg, ezért kértem, hogy sorolja fel St. Albans hercegeit születési és halálozási dátumokkal. Egyrészt ezt kevésbé fontos adatnak tartom, másrészt az előző herceg áprilisban halt meg, tehát aránylag új adat. A hibátlan válasz meglepett, ezért nincs kép róla. A következő kérdésemre adott válasszal pár éve a ChatGPT 2024. januárjában majdnem bevitt az erődbe: "Mit tudsz mondani a Power Macintosh 8400-as számítógépről?" A választ mindenki megtudhatja a használt MI-jétől...
És mi az a Chatbox?
A kép jobb szélén egy másik alkalmazás, a Chatbox ablaka látszik. A Chatbox nem mesterségesintelligencia-modell, hanem egyfajta univerzális beszélgetőprogram. Különböző AI-szolgáltatásokhoz és helyben futtatott modellekhez lehet vele kapcsolódni. Egyetlen felületen használhatunk vele többféle AI-modellt, kezelhetjük a korábbi beszélgetéseket, saját asszisztenseket hozhatunk létre, és megfelelő modell vagy szolgáltatás esetén akár képeket is generálhatunk. A felületén a My Copilots menüpont az egyedi asszisztensek kezelésére szolgál, a Create Image pedig a képgenerálásra.Az EXO a modellek eléréséhez olyan programozási felületet (API-t) is kínál, amellyel más alkalmazások kapcsolódhatnak hozzá. A Chatbox is képes ilyen kapcsolatok használatára. Így elvileg megoldható, hogy a két Mac minin működő AI-t a Chatbox kényelmes felületén keresztül használjuk.
Miért érdekes mindez?
A generatív mesterséges intelligenciáról többnyire úgy beszélünk, mintha az szükségszerűen valahol egy óriási adatközpontban működne. Beírjuk a kérdésünket, az interneten elküldjük egy szolgáltatónak, majd visszakapjuk a választ.Pedig nem feltétlenül kell ennek így lennie.
A kisebb nyelvi modellek már régóta használhatók saját számítógépen. Az Apple Silicon processzorok teljesítménye és egyesített memóriája különösen alkalmassá teszi a Maceket erre a feladatra. Ha pedig egyetlen gép kevés, az EXO-hoz hasonló szoftverekkel több számítógép erőforrásait is bevonhatjuk. Ennek adatvédelmi előnye is lehet. Egy megfelelően beállított, teljesen helyi rendszer esetén a kérdéseinket és az általunk feldolgoztatott dokumentumokat nem kell külső AI-szolgáltatónak elküldeni. A modell első letöltése természetesen internetkapcsolatot igényelhet, de a későbbi működéshez erre nem feltétlenül van szükség.
Ez vállalati környezetben különösen fontos lehet. Egy cég érzékeny belső dokumentumokat, fejlesztési anyagokat vagy üzleti információkat szeretne feldolgoztatni, miközben nem feltétlenül akarja ezeket külső szolgáltatókhoz továbbítani.
A helyi AI még nem lesz automatikusan biztonságosabb, okosabb vagy gyorsabb. A rendszer üzemeltetése, a modell kiválasztása, a hozzáférések szabályozása és a teljesítmény optimalizálása továbbra is feladat. És attól, hogy több gépet összekapcsolunk, a modell válaszainak minősége még nem javul meg.
Az EXO bemutatója éppen ezért érdekes. Nem egy újabb, mesterséges intelligenciát ígérő szolgáltatásról van szó, hanem arról, hogy a már meglévő Macjeinkkel mit kezdhetünk.
Nem feltétlenül kell még nagyobb számítógépet vennünk. Néha elég, ha a meglévőket megtanítjuk együtt dolgozni.
Nincsenek megjegyzések:
Megjegyzés küldése