Miksi muutos – hyväksyntäväsymys paljastui ongelmaksi

Anthropicin sisäinen telemetria paljasti, että käyttäjät hyväksyivät 97 % lupapyynnöistä riippumatta siitä, miten vaarallinen komento todellisuudessa oli . Tämä lähes yksimielinen hyväksyntäaste ei kuvastanut huolellista arviointia vaan tottumuksesta tapahtuvaa läpiklikkaamista, erityisesti pitkissä istunnoissa, joissa hyväksyntäväsymys iski nopeasti . Kontrolloidussa tutkimuksessa ihmisten kieltäytymisprosentti laski alun jo matalasta 13,6 % tasosta noin 5 prosenttiin 50+ hyväksyntäpyynnön jälkeen, mikä vahvisti, että ihmisarviointi heikkeni merkittävästi ajan myötä .

89 % automaattinen torjunta vs. ihmisten kieltäytyminen – 1 053 testaajan tutkimus

• Ihmisten torjuntaprosentti: Kaksoissokkotestissä 1 053 maksetulla ammattitestaajalla istutettu vaarallinen komento estettiin vain 13,6 % ajasta (143 henkilöä 1 053:sta kieltäytyi) . 50 pyynnön jälkeen torjuntaprosentti laski noin viiteen .
• Automaattitilan torjuntaprosentti: Luokittelija esti 89 % samoja istutettuja vaarallisia komentoja .
• Tuotantodatassa manuaalisesti hyväksytyt istunnot tuottivat tahatonta vahinkoa kaksi kertaa useammin kuin automaattitilan istunnot .

Jäljellä olevat riskit: 11 % ohitusprosentti ja nolla prompt injection -torjuntaa

• 11 % ohitusprosentti: Luokittelija epäonnistuu noin 11 prosentin vaarallisten komentojen estämisessä .
• Synteettiset vastakohta-arvioinnit: Kolmannen osapuolen red team -harjoitukset pienensivät luokittelijan ohitusprosenttia entisestään, mutta eivät kyenneet poistamaan ohituksia kokonaan . Järjestelmä ei torjunut yhtäkään prompt injection -hyökkäystä testauksessa, mutta tämä saattaa johtua testimuotoilusta eikä yleisestä immuuniuudesta .
• Rajapintatapaukset: Erittäin uudenlaiset tai hämärretyt haitalliset komennot, jotka jäävät luokittelijan harjoitusdatan jakautuman ulkopuolelle, ovat edelleen jäännösriski .

Suojatoimet ja ohitusmekanismit

• Luokittelija arvioi jokaisen työkalukutsun itsenäisesti – automaattitila ei ole yleinen lupapoikkeus .
• Käyttäjät voivat palata manuaaliseen hyväksyntätilaan milloin tahansa istunnon aikana .
• Tiimin ja yrityksen järjestelmänvalvojat voivat asettaa oletustilan (manuaalinen tai automaattinen) koko organisaatiolle, mikä ohittaa käyttäjäkohtaisen oletuksen .
• Anthropicin ulkoinen red team -ohjelma jatkaa luokittelijan testaamista ja vahvistamista .
• Yritystileillä automaattitila on toistaiseksi vapaaehtoinen, ja oletuksen vaihto on suunniteltu noin kuukauden sisään alkuperäisestä käyttöönotosta .

Käyttöönotto ja hinnoitteluvaikutukset segmenttikohtaisesti

Keskeinen hinnoitteluhuomautus: Anthropic on vahvistanut, että se on lopettanut käyttäjien veloituksen näillä tilauksilla automaattitilan käyttämistä luokittelutunnuksista – kustannukset on nyt sisällytetty olemassa olevaan tilaukseen .

Miksi muutos – hyväksyntäväsymys paljastui ongelmaksi

Anthropicin sisäinen telemetria paljasti, että käyttäjät hyväksyivät 97 % lupapyynnöistä riippumatta siitä, miten vaarallinen komento todellisuudessa oli . Tämä lähes yksimielinen hyväksyntäaste ei kuvastanut huolellista arviointia vaan tottumuksesta tapahtuvaa läpiklikkaamista, erityisesti pitkissä istunnoissa, joissa hyväksyntäväsymys iski nopeasti . Kontrolloidussa tutkimuksessa ihmisten kieltäytymisprosentti laski alun jo matalasta 13,6 % tasosta noin 5 prosenttiin 50+ hyväksyntäpyynnön jälkeen, mikä vahvisti, että ihmisarviointi heikkeni merkittävästi ajan myötä .

89 % automaattinen torjunta vs. ihmisten kieltäytyminen – 1 053 testaajan tutkimus

• Ihmisten torjuntaprosentti: Kaksoissokkotestissä 1 053 maksetulla ammattitestaajalla istutettu vaarallinen komento estettiin vain 13,6 % ajasta (143 henkilöä 1 053:sta kieltäytyi) . 50 pyynnön jälkeen torjuntaprosentti laski noin viiteen .
• Automaattitilan torjuntaprosentti: Luokittelija esti 89 % samoja istutettuja vaarallisia komentoja .
• Tuotantodatassa manuaalisesti hyväksytyt istunnot tuottivat tahatonta vahinkoa kaksi kertaa useammin kuin automaattitilan istunnot .

Jäljellä olevat riskit: 11 % ohitusprosentti ja nolla prompt injection -torjuntaa

• 11 % ohitusprosentti: Luokittelija epäonnistuu noin 11 prosentin vaarallisten komentojen estämisessä .
• Synteettiset vastakohta-arvioinnit: Kolmannen osapuolen red team -harjoitukset pienensivät luokittelijan ohitusprosenttia entisestään, mutta eivät kyenneet poistamaan ohituksia kokonaan . Järjestelmä ei torjunut yhtäkään prompt injection -hyökkäystä testauksessa, mutta tämä saattaa johtua testimuotoilusta eikä yleisestä immuuniuudesta .
• Rajapintatapaukset: Erittäin uudenlaiset tai hämärretyt haitalliset komennot, jotka jäävät luokittelijan harjoitusdatan jakautuman ulkopuolelle, ovat edelleen jäännösriski .

Suojatoimet ja ohitusmekanismit

• Luokittelija arvioi jokaisen työkalukutsun itsenäisesti – automaattitila ei ole yleinen lupapoikkeus .
• Käyttäjät voivat palata manuaaliseen hyväksyntätilaan milloin tahansa istunnon aikana .
• Tiimin ja yrityksen järjestelmänvalvojat voivat asettaa oletustilan (manuaalinen tai automaattinen) koko organisaatiolle, mikä ohittaa käyttäjäkohtaisen oletuksen .
• Anthropicin ulkoinen red team -ohjelma jatkaa luokittelijan testaamista ja vahvistamista .
• Yritystileillä automaattitila on toistaiseksi vapaaehtoinen, ja oletuksen vaihto on suunniteltu noin kuukauden sisään alkuperäisestä käyttöönotosta .

Käyttöönotto ja hinnoitteluvaikutukset segmenttikohtaisesti

Keskeinen hinnoitteluhuomautus: Anthropic on vahvistanut, että se on lopettanut käyttäjien veloituksen näillä tilauksilla automaattitilan käyttämistä luokittelutunnuksista – kustannukset on nyt sisällytetty olemassa olevaan tilaukseen .