Áttörés a mesterséges intelligencia demokratizálásában: hétköznapi számítógépeken is futhatnak fejlett AI modellek
Jelentős technológiai előrelépésről számolhatunk be az AI világából: a Ziroh Labs nevű indiai startup és az Indiai Műszaki Intézet (IIT) Madras szakemberei közösen fejlesztettek ki egy olyan rendszert, amely lehetővé teszi a nagy nyelvi modellek futtatását átlagos számítógépeken, speciális grafikus kártyák nélkül.
A Kompact AI névre keresztelt keretrendszer legfontosabb újítása, hogy a hétköznapi központi feldolgozóegységeket (CPU) használja a drága és nehezen beszerezhető grafikus feldolgozóegységek (GPU) helyett. A kutatók szerint ez az újítás szélesebb körben tehetné elérhetővé a mesterséges intelligencia előnyeit, hiszen nem lenne szükség a jelenleg szinte beszerezhetetlen és rendkívül költséges Nvidia chipekre.
Hirdetés:
Gyakorlati bizonyíték
A fejlesztők egy látványos demonstráción mutatták be a technológiát: egy átlagos, Intel Xeon processzorral felszerelt laptopon futtatták a Meta Llama 2 és az Alibaba Qwen2.5 modelljeit. A rendszer elsősorban az úgynevezett „inference” szakaszra koncentrál, vagyis nem a modellek betanítására, hanem azok működtetésére, amit jelentősen olcsóbbá és hozzáférhetőbbé tesz.
A technológiát már olyan jelentős chipgyártók is tesztelték, mint az Intel és az AMD, ami komoly szakmai elismerést jelent. „Az elkövetkező években rendkívül jelentős piaci hatása lesz ennek a fejlesztésnek” – nyilatkozta a bemutatón William Raduchel, a Sun Microsystems korábbi stratégiai vezetője, aki tanácsadóként segíti a startupot.
Az AI-szakadék áthidalása
Az elmúlt hónapokban több fejlesztő is küzdött a hatékonyabb, kevesebb chipet igénylő rendszerek létrehozásáért, különösen a kínai DeepSeek virális sikere után, amely állítólag töredék költségen hozott létre egy versenyképes AI modellt amerikai vetélytársaihoz képest.
A Ziroh Labs megközelítése tovább mélyíti ezt a trendet, különösen olyan országokban, mint India, ahol a fejlesztők számára rendkívül nehéz hozzáférni a csúcskategóriás chipekhez, ami jelentősen korlátozza a helyi AI-kutatás és -alkalmazás sebességét és léptékét.
„Az AI-szakadék abból fakad, hogy csak azok férhetnek hozzá, fejleszthetnek és telepíthetnek hatékony mesterséges intelligenciát, akik drága, GPU-alapú erőforrásokkal rendelkeznek” – magyarázta V. Kamakoti, az IIT Madras igazgatója. „Mi most bebizonyítottuk, hogy egy szúnyog megöléséhez nincs szükség revolverrel lőni.”
Bár más technológiai cégek is használnak már CPU-kat bizonyos következtetési feladatokra, a Ziroh Labs szerint az ő megközelítésük kiemelkedő minőségű eredményeket biztosít. Véleményem szerint ez a fejlesztés valóban közelebb hozhatja az átlagfelhasználókhoz a fejlett AI-technológiát, és segíthet abban, hogy a mesterséges intelligencia ne csak a gazdag országok vagy jól finanszírozott vállalatok kiváltsága legyen.
A borító képet FLUX.1-dev képgenerátor készítette az alábbi prompt alapján: A professional Indian computer engineer confidently demonstrating AI software running on a standard laptop without special graphics cards, in a modern tech lab with other researchers watching with interest.
