Metan uudet tekoälymallit aiheuttivat kohun – yhtiö kiistää huijaamisen testeissä

Metan väitetään tarkoituksella vääristelleen uusien tekoälymalliensa testituloksia.

Meta kiistää huijanneensa tekoälymalliensa tehotesteissä. Llama 4 -sukupolven mallien suorituskyvystä on löydetty epäjohdonmukaisuuksia.

Facebook-yhtiö Meta esitteli vastikään uudet Llama 4 -tekoälymallinsa, joita on kaikkiaan kolme: Llama 4 Scout, Llama 4 Maverick sekä Llama 4 Behemoth. Kukin malleista on pärjännyt hienosti  tekoälymallien suoituskykyä mittaavissa testeissä, mutta käytännön toimissa asiantuntijat ovat havainneet myös ongelmia. Tämä on puolestaan herättänyt epäilyksiä mahdollisesta huijaamisesta.

Metan väitetään kouluttaneen kielimallejaan varta vasten suorituskykytestejä varten, mikä saattaisi merkittävästikin nostaa tuloksia testeissä, vaikka käytännössä tehokkuus olisikin heikompi, aiheesta kirjoittava TechCrunch kuvailee.

Metan generatiivisen tekoälyn johtajistoon kuuluva Ahmad Al-Dahle kuitenkin kiistää jyrkästi kaikenlaisen vilunkipelin. Väitteet ”eivät yksinkertaisesti ole totta”, Al-Dahle kirjoittaa viestipalvelu X:ssä huijaussyytöksiin viitaten.

Al-Dahlen mukaan erot suorituskykytesteissä ja käytännön toimenpiteissä saattavat johtua monista tekijöistä, mutta lähipäivinä Llama 4 -mallien tulisi alkaa toimia tasaisemmin. Kyse on eräänlaisesta sopeutumisesta, Meta-johtaja kuvailee.

Väitteet Metan huijauksesta vaikuttavat saaneen alkunsa Kiinan sosiaalisesta mediasta, jossa entiseksi Meta-työntekijäksi itseään väittävä henkilö kertoi irtisanoutuneensa kuultuaan työnantajansa toimista, TechCrunch taustoittaa. Todisteita testitulosten tietoisesta vääristelystä ei kuitenkaan ole toistaiseksi esitetty.

Meta työskentelee parhaillaan parantaakseen Llama 4 -tekoälymalliensa suorituskykyä kaikissa tilanteissa, Al-Dahle vakuuttaa julkaisussaan.

We’re glad to start getting Llama 4 in all your hands. We’re already hearing lots of great results people are getting with these models.

That said, we’re also hearing some reports of mixed quality across different services. Since we dropped the models as soon as they were…

— Ahmad Al-Dahle (@Ahmad_Al_Dahle) April 7, 2025

Mainos: Noin 1 600 000 tuotteen hintavertailu ja hintaseuranta - katso Hinta.fistä mistä saat halvimmalla