Normaali 30 miljardin parametrin malli vaatisi noin 55 gigatavua muistia täydellä BF16-tarkkuudella . Metan insinöörit sovelsivat tekniikoita, kuten 4-bittistä kvantisointia ja arkkitehtonisia tehokkuusparannuksia, joiden avulla mallin muistijalanjälki saatiin alle 20 gigatavuun
. Tämä mahdollistaa Muse Glimmer -mallin mahtumisen ja toimimisen yhdellä 24 gigatavun VRAM-muistilla varustetulla kuluttajanäytönohjaimella – sellaisella, jota löytyy huippuluokan pelitietokoneista ja uudemmista MacBookeista
.
Muse Glimmer on ”tislattu Muse Spark -mallista ja suunniteltu nimenomaan autonomisia agenttitehtäviä varten” . Toisin kuin yleiskäyttöiset keskustelumallit, Glimmer on suunniteltu monivaiheiseen päättelyyn, luotettavaan työkalujen käyttöön ja funktiokutsuihin, alagenttien orkestrointiin, paikalliseen koodaukseen, multimodaaliseen havainnointiin (teksti- ja kuvasyöte) ja virheistä palautumiseen – kaikki paikallisesti
. Metan virallinen blogi kuvailee sitä ”optimoiduksi aina päällä oleviin paikallisiin agenttityönkulkuihin”
.
Koska jokainen päättelyvaihe suoritetaan paikallisesti käyttäjän laitteella, data ei koskaan poistu koneelta. Tämä poistaa perustavanlaatuisesti pilvipohjaisiin tekoälyagentteihin liittyvät yksityisyys- ja viivekompromissit . Avoimet painoarvot mahdollistavat myös sen, että käyttäjät ja kehittäjät voivat tarkastaa, muokata ja hienosäätää mallia – kykyjä, jotka ovat yksinkertaisesti mahdottomia API-rajapinnan takana olevalla mallilla, kuten Muse Spark
.
Apache 2.0 -lisenssi sallii kaupallisen käytön, muokkaamisen ja uudelleenjakelun . Tämä kannustaa kolmannen osapuolen kehittäjiä rakentamaan paikallisia agenttisovelluksia – koodausavustajia, dokumenttianalyysityökaluja, henkilökohtaisia tuottavuusagentteja – ilman että heidän tarvitsee maksaa tokeneista tai olla riippuvaisia Metan API-infrastruktuurista
.
Muse Glimmerin julkaisu paljastaa tarkoituksellisen kaksitasoisen strategian, joka tasapainottaa leviämisen ja rahastuksen.
Zuckerberg on kuvannut ”henkilökohtaista superälykkyyttä” tekoälyksi, joka tuntee kontekstisi, työskentelee puolestasi jatkuvasti ja on hallinnassasi eikä pilvipalveluntarjoajan . Muse Glimmer on tämän vision konkreettinen toteutus: kykenevä, paikallinen malli, jonka kuka tahansa voi ladata, muokata ja ajaa pysyvästi omalla laitteellaan. Se mahdollistaa todella yksityiset, aina päällä olevat agentit, jotka voivat toimia ilman verkkoyhteyttä
.
Samaan aikaan Muse Spark – Metan tehokkaampi huippumalli – pysyy suljettuna ja on saatavilla vain maksullisen API:n kautta (hinnoiteltu 1,25 dollariin miljoonalta syöttötokenilta ja 4,25 dollariin miljoonalta tuotostokenilta Spark 1.1:lle) . Meta on sitoutunut avaamaan Spark 1.2:n painoarvot lähiviikkoina, mutta kaikkein edistyneimmät versiot pysyvät suljettuina
.
Kuvio on kiistaton: julkaise kykenevä avoin malli (Glimmer), joka leviää laajalle, rakentaa ekosysteemiä ja vakiinnuttaa Metan aseman paikallisessa tekoälyssä – samalla kun huipputason kyvykkyydet (Spark) pidetään rahastettuna, hallittuna palveluna . Kuten TechCrunch totesi, Glimmer on ”käytännössä avoin versio Metan tehokkaammasta Muse Spark -perheestä” – riittävän hyvä paikallisille agenteille, mutta ei niin tehokas, että se söisi Metan omaa API-liiketoimintaa
.
Zuckerberg ei ole sulkenut pois tulevien Spark-versioiden avaamista, mikä viittaa siihen, että avoimen ja suljetun välinen raja saattaa muuttua ajan myötä kilpailu- ja turvallisuusnäkökohtien perusteella . Toistaiseksi viesti on selvä: Meta haluaa antaa kehittäjille riittävästi työkaluja rakentaakseen yksityisesti ja itsenäisesti, samalla kun se pitää kehittyneimmän älykkyytensä maksumuurin takana.
Muse Glimmer on merkittävä virstanpylväs paikalliselle, yksityisyyttä kunnioittavalle tekoälylle. Se osoittaa, että tehokkaat agenttikyvykkyydet – suunnittelu, työkalujen käyttö, koodaus – voivat toimia täysin kuluttajalaitteistolla ilman pilviviivettä, API-kustannuksia tai tietojen jakamisen riskejä. Kehittäjille ja yrityksille, jotka ovat huolissaan tietojen suvereniteetista ja toiminnallisesta riippumattomuudesta, se tarjoaa aidon vaihtoehdon API-riippuvaiselle tekoälylle. Laajemmalle teollisuudelle se paljastaa, että jopa Metan kaltaiset yritykset näkevät strategista etua kykenevän tekoälyn laajalle levittämisessä – mutta eivät kuitenkaan parhaita mallejaan.