Zuckerbergas sako, kad „Meta“ reikės 10 kartų daugiau skaičiavimo galios, kad galėtų išmokyti „Llama 4“ nei „Llama 3“

„Meta“, kurianti vieną didžiausių pamatinių atvirojo kodo didelių kalbų modelių „Llama“, mano, kad ateityje norint parengti modelius jai reikės daug daugiau skaičiavimo galios.

Markas Zuckerbergas antradienį „Meta“ antrojo ketvirčio pajamų pokalbyje sakė, kad norint išmokyti „Llama 4“, įmonei reikės 10 kartų daugiau skaičiavimo, nei reikėjo „Llama 3“ mokymui. Tačiau jis vis tiek nori, kad „Meta“ padidintų pajėgumus treniruoti modelius, o ne atsiliktų nuo konkurentų. .

„Tikėtina, kad skaičiuojant Llama 4 reikės beveik 10 kartų daugiau, nei naudojome treniruodami Llama 3, o būsimi modeliai ir toliau augs“, – sakė Zuckerbergas.

„Sunku nuspėti, kaip tai pavers kelias kartas ateityje. Tačiau šiuo metu aš verčiau rizikuoti sustiprinti pajėgumus, kol to prireiks, o ne per vėlu, atsižvelgiant į ilgą naujų išvadų projektų kūrimo laiką.

„Meta“ balandį išleido „Llama 3“ su 80 milijardų parametrų. Praėjusią savaitę bendrovė išleido atnaujintą modelio versiją, pavadintą Llama 3.1 405B, kuri turėjo 405 milijardus parametrų, todėl tai yra didžiausias Meta atvirojo kodo modelis.

„Meta“ finansų direktorė Susan Li taip pat sakė, kad bendrovė galvoja apie skirtingus duomenų centrų projektus ir didina pajėgumus, kad galėtų mokyti būsimus AI modelius. Ji teigė, kad „Meta“ tikisi, kad ši investicija 2025 metais padidins kapitalo išlaidas.

Didelių kalbų modelių mokymas gali būti brangus verslas. 2024 m. antrąjį ketvirtį „Meta“ kapitalo išlaidos išaugo beveik 33% iki 8,5 mlrd. USD, palyginti su 6,4 mlrd. USD per metus, o tai paskatino investicijos į serverius, duomenų centrus ir tinklo infrastruktūrą.

Remiantis „The Information“ ataskaita, „OpenAI“ išleidžia 3 mlrd. USD mokymo modeliams ir dar 4 mlrd. USD serverių nuomai su „Microsoft“ nuolaida.

„Kadangi didiname generatyvaus AI mokymo pajėgumus, kad patobulintume savo pagrindinius modelius, mes ir toliau kursime savo infrastruktūrą taip, kad laikui bėgant galėtume lanksčiai ją naudoti. Tai leis mums nukreipti mokymo pajėgumus į AI išvadas arba į mūsų pagrindinį reitingavimo ir rekomendacijų darbą, kai tikimės, kad tai būtų vertingiau“, – pokalbio metu sakė Li.

Pokalbio metu „Meta“ taip pat kalbėjo apie vartotojams skirtą „Meta AI“ naudojimą ir teigė, kad Indija yra didžiausia jos pokalbių roboto rinka. Tačiau Li pažymėjo, kad bendrovė nesitiki, kad „Gen AI“ produktai reikšmingai prisidės prie pajamų.