AMD vahvistaa tuen Metan Muse Glimmer 30B:lle – Agentti-PC saa avoimen 30 miljardin parametrin aivot

Suorituskykymittaukset AMD-laitteistolla

AMD julkaisi alustavat suorituskykymittaukset Muse Glimmer 30B:lle uusimmalla laitteistollaan. Testit suoritettiin Windowsissa käyttäen llama.cpp-projektia Vulkan-taustajärjestelmällä ja dFlash-spekulatiivisella dekoodauksella .

• AMD Ryzen AI Max+ 395 -prosessori: Jopa 24 tokenia sekunnissa järjestelmässä, jossa on 128 gigatavua yhtenäistä muistia .
• Yksi AMD Radeon AI PRO R9700 -näytönohjain: Jopa 53 tokenia sekunnissa dFlash-spekulatiivisella dekoodauksella .

On tärkeää huomata, että nämä ovat AMD:n omia varhaisia, alustavia tuloksia, joten todellinen suorituskyky voi vaihdella järjestelmäkokoonpanon, jäähdytyksen ja työkuorman mukaan .

Malli käyttää 4 bitin kvantisointia (K-Quant-Dynamic) pienentääkseen muistijalanjälkensä yli 55 gigatavusta täydessä tarkkuudessa noin 18–20 gigatavuun . Tämä mahdollistaa mallipainojen, KV-välimuistin ja havainnointikooderin lataamisen samanaikaisesti yhdelle kuluttajatason näytönohjaimelle, jossa on 24 tai 32 gigatavua VRAM-muistia . Metan omien testien mukaan tämä kvantisointitaso aiheuttaa ”minimaalisen tai ei lainkaan heikkenemistä agenttitehtävissä” .

Kehittäjätyökalut ja integraatiopolut

AMD ja sen kumppanit ovat varmistaneet useita välittömiä polkuja kehittäjille Muse Glimmer -mallin käyttöön ottamiseksi heti julkaisupäivästä lähtien.

LM Studio Bionic

LM Studio teki suoran yhteistyön Metan kanssa tarjotakseen tuen Muse Glimmerille heti julkaisupäivänä LM Studio Bionic -työpöytäsovelluksessaan . Käyttäjät voivat ladata ja suorittaa mallin paikallisesti muutamalla klikkauksella sovelluksen sisäisestä luettelosta. Pienin Muse Glimmer -versio vaatii vähintään 26 gigatavua RAM-muistia . LM Studio on saatavilla sekä Windowsille että Linuxille, se käyttää llama.cpp-ajoympäristöä ja on keskeinen työkalu AMD:n paikallisen tekoälyn ekosysteemissä .

AMD Lemonade -palvelin

AMD:n oma avoimen lähdekoodin paikallinen tekoälypalvelin Lemonade on asemoitu ensisijaiseksi integraatiopoluksi . Lemonade tarjoaa paikallisesti suoritettavat mallit alan standardin OpenAI-rajapinnan kautta, joten mikä tahansa olemassa oleva OpenAI-yhteensopiva sovellus voi toimia välittömästi paikallisen Muse Glimmer -instanssin kanssa . Se tukee tekstin, kuvan ja äänen tuottamista yhdessä kevyessä C++-paketissa, joka toimii Windowsissa, Linuxissa, macOS:ssä ja Dockerissa .

Laajempi ekosysteemi

LM Studion ja Lemonaden lisäksi Muse Glimmerillä on laaja ekosysteemituki, joka on rullautumassa käyttöön julkaisun myötä:

• Hugging Face Transformers: Viralliset mallipainot ovat osoitteessa meta-models/Muse-Glimmer-30B Apache 2.0 -lisenssillä .
• llama.cpp: Ensisijainen ajoympäristö AMD-näytönohjainten kiihdytykselle Vulkan-taustajärjestelmän kautta .
• Unsloth: Tukee mallia päättelyyn ja hienosäätöön, mahdollistaen täyden hienosäädön 20 gigatavun VRAM-muistilla .
• vLLM ja SGLang: Korkean suorituskyvyn päättelypalvelu .
• Ollama: Tuki julkaisupäivästä alkaen versiossa 0.32.7 .
• ExecuTorch ja MLX: Laitteisto- ja Apple Silicon -käyttöön .

Tämä työkalujen laajuus tarkoittaa, että kehittäjät eivät ole sidottuja yhteen ajoympäristöön, vaan voivat valita tarpeisiinsa parhaiten sopivan pinon .

Strateginen näkemys: ”Agentti-PC” ja pilvestä riippumaton tekoäly

AMD kutsuu nimenomaisesti Muse Glimmerin ja sen laitteiston yhdistelmää ”Agentti-PC:n seuraavaksi vaiheeksi” . Strateginen argumentti on kolmiosainen:

1. Yksityisyys ja tietosuoja

Kun päättely suoritetaan kokonaan paikallisella laitteistolla, arkaluonteinen data – asiakirjat, koodi, henkilökohtaiset tiedot – ei koskaan poistu käyttäjän koneelta. Ei ole API-kutsuja kolmansien osapuolten palvelimille, pilvipalveluntarjoajat eivät kirjaa dataa, eikä verkkoyhteydestä olla riippuvaisia . Yrityskäyttöön liittyvissä luottamuksellisissa tiedoissa tämä on ratkaiseva etu.

2. Nolla jatkuvaa päättelykustannusta

Kun laitteisto on hankittu, paikallisella päättelyllä ei ole token-kohtaista kustannusta. Ei ole API-käyttömaksuja, ei tilausmaksuja päättelypäätepisteille eikä muuttuvia pilvilaskentakustannuksia . Kehittäjille, jotka ajavat jatkuvia agenttisilmukoita tai raskaita erätyökuormia, tämä muuttaa perustavanlaatuisesti tekoälyagenttien käyttöönoton taloutta.

3. Täysi kehittäjän hallinta Apache 2.0 -lisenssillä

Metan päätös julkaista Muse Glimmer sallivalla Apache 2.0 -lisenssillä on kriittinen osa tarjousta . Kehittäjät voivat täysin tarkastaa, muokata, hienosäätää ja levittää mallia ilman rajoituksia. Tämä poistaa toimittajariippuvuuden yksittäiseen mallitoimittajaan ja on linjassa AMD:n laajemman pyrkimyksen kanssa rakentaa avoin vaihtoehto Nvidian omalle CUDA-ekosysteemille .

Kuten AMD toteaa virallisessa blogissaan: ”Avoimien painojen mallien, kuten Muse Glimmerin, ja tehokkaan paikallisen laitteiston yhdistelmä pitää kaiken päättelyn yksityisenä, vähäviiveisenä ja riippumattomana pilvi-API-kustannuksista tai -yhteydestä” .

Huomioitavaa ja varoituksia

Vaikka ilmoitus on merkittävä, muutama varoitus on syytä ottaa huomioon:

• Alustavat mittaukset: Suorituskykyluvut 24 ja 53 tok/s ovat AMD:n omista varhaisista testeistä Windowsissa tietyllä ohjelmistopinolla (llama.cpp Vulkanilla ja dFlashilla). Todellinen suorituskyky vaihtelee .
• DIY-ohjelmistopino Windowsissa: Windows-käyttäjille Muse Glimmerin käyttöönotto on tällä hetkellä tee-se-itse -ohjelmistopino. AMD ei tarjoa julkaisussa yhtä valmiiksi konfiguroitua yhden klikkauksen asennusohjelmaa .
• Laitteistovaatimukset: Pienin kvantisoitu versio tarvitsee silti vähintään 26 gigatavua järjestelmämuistia . Käyttäjät, joilla on 16 gigatavun järjestelmiä, eivät pysty suorittamaan mallia paikallisesti.
• Ekosysteemin kypsyys: Vaikka tuki julkaisupäivänä on laaja, malli julkaistiin 10. elokuuta 2026, ja jotkin integraatiot rullautuvat käyttöön seuraavien päivien ja viikkojen aikana .

Yhteenveto

AMD:n vahvistus tuesta Metan Muse Glimmer 30B:lle on merkittävä virstanpylväs paikallisen tekoälyn ekosysteemille. Se osoittaa, että suorituskykyinen 30 miljardin parametrin agenttimalli voi toimia yhdellä kuluttajatason näytönohjaimella, tarjoaa kehittäjille kypsän avointen painojen vaihtoehdon Apache 2.0 -lisenssillä ja tarjoaa selkeät, välittömät integraatiopolut LM Studion ja Lemonaden kautta. Ilmoitus vahvistaa ”Agentti-PC:n” tapausta – tulevaisuutta, jossa tehokkaat tekoälyagentit toimivat yksityisesti, jatkuvasti ja kustannustehokkaasti laitteistolla, jonka käyttäjät jo omistavat .