Miksi OpenAI poisti urakoitsijoita ChatGPT-arvioinneista tekoälyn käytön vuoksi?

Project Lily on 404 Median raportoima ihmisarviointiohjelma, jossa urakoitsijat arvioivat ChatGPT:n vastauksia tulevien mallien toiminnan parantamiseksi. Tämä selittää, miksi arviointiin generatiivista tekoälyä käyttäneitä urakoitsijoita on raporttien mukaan poistettu työstä: datan arvon pitäisi perustua itsenäiseen ihmisharkintaan. Jos arvioinnin tuottaa malli, järjestelmä ei enää mittaa puhtaasti sitä, millaisia vastauksia ihmiset pitävät parempina. 1920

Mitä Project Lilyn arvioijat tekevät

Raportoidussa työnkulussa arvioijat saavat nähtäväkseen aitoja ChatGPT-kehotteita ja joissakin tapauksissa kokonaisia keskusteluja. He tiivistävät käyttäjän tavoitteen, vertailevat vastausvaihtoehtoja ja antavat niille pisteet asteikolla 1–7. Tehtävässä voi olla enintään neljä ehdokasvastausta. Painopiste on käyttäytymiseen liittyvissä piirteissä, kuten sävyssä, liiallisessa mielistelyssä ja liian ihmismäisissä väitteissä – ei pelkästään faktatarkkuudessa. 819

Näistä arvioista voi muodostua niin sanottua preferenssidataa: jäsenneltyä tietoa siitä, mitä vastausta ihminen pitää tietyssä tilanteessa parempana. Tällainen data auttaa ohjaamaan mallia toivottuun suuntaan vain, jos arviot ovat riittävän johdonmukaisia, asiantuntevia ja toisistaan riippumattomia.

Project Lilyyn kerrotaan osallistuvan satoja ulkopuolisia arvioijia. Heitä on raporttien mukaan rekrytoitu Crossing Hurdlesin kautta ja palkkioita on maksettu Mercorin kautta; yksi arvioija kertoi ansainneensa yli 50 dollaria tunnilta. OpenAI:n laajemmista arviointiketjuista on puolestaan raportoitu yli 10 000 urakoitsijaa. Lukua ei pidä tulkita pelkästään Project Lilyn kooksi. 196

Miksi tekoälyn kirjoittamat arviot vesittävät ihmispalautteen

Tekoälyarvioija voi olla nopea ja hyödyllinen esimerkiksi sisäisessä testauksessa, mutta se vastaa eri kysymykseen kuin ihmisten mieltymysten kartoitus. Malli pyrkii helposti toistamaan koulutuksestaan oppimiaan malleja ja voi suosia tuttuja muotoiluja, tyylejä tai oletuksia.

Jos mallin tai sitä läheisesti muistuttavan mallin tuottamaa arviointia käytetään toistuvasti tulevien mallivastausten palkitsemiseen, voi syntyä palautesilmukka:

1. Arvioiva malli suosii vastauksia, jotka muistuttavat sen nykyisiä mieltymyksiä.
2. Koulutus palkitsee tällaisia vastauksia.
3. Seuraava malli tuottaa todennäköisemmin samoja kaavoja.
4. Vaihtoehtoiset tyylit, vähemmistöjen mieltymykset tai vastaukset, joita arvioija ei osaa kunnolla arvioida, saavat heikompaa palautetta.

Tämä ei tarkoita, että kaikki tekoälyavusteinen arviointi huonontaisi mallia. Automatisoitu arviointi voi olla hyödyllistä, jos sen tulokset on validoitu ihmisarvioita vasten ja käytölle on selvät rajat. Mutta kun sen annetaan korvata nimenomaan ihmispreferenssidatan tuottamiseen tilattu työ, koulutussignaalin riippumattomuus heikkenee. Tämä näyttää olevan raportoidun kiellon ydin.

Miten epäiltyä tekoälyn käyttöä etsittiin

Raporttien mukaan esihenkilöitä ohjeistettiin olemaan luottamatta GPTZeron kaltaisiin tekoälytekstin tunnistimiin. Sen sijaan heidän tuli arvioida työn jälkeä ja työskentelytapoja itse: mahdollisia merkkejä olivat poikkeuksellisen yhdenmukainen ilmaisu, välimerkki- tai muotoilutavat sekä epäuskottavan nopea tehtävien suorittaminen. 6

Menetelmällä on ilmeinen rajoite: yksikään näistä merkeistä ei yksin todista tekoälyn käytöstä. Nopea kirjoittaja voi olla kokenut, ja samankaltainen kieli voi johtua yhteisestä arviointiohjeesta. Siksi tällaisten havaintojen pitäisi olla peruste jatkoselvitykselle, ei automaattisesti ratkaiseva näyttö henkilön poistamiseen projektista.

Miksi tarkkoja tunnistuskriteerejä ei kerrota julkisuuteen

Organisaatiot eivät yleensä julkaise yksityiskohtaisia pelisääntöjen kiertämisen estämiseen tarkoitettuja kriteerejä. Tarkka lista toimisi samalla ohjekirjana kiertämiseen: urakoitsija voisi muuttaa sanamuotoja, lisätä keinotekoisia viiveitä tai vaihdella muotoilua, vaikka ulkoistaisi arvionsa edelleen mallille.

Salailu tuo kuitenkin oman riskinsä. Jos työntekijä ei tiedä, mihin laatupäätös perustui, virheellisiä päätöksiä on vaikeampi kyseenalaistaa. Kestävässä laadunvarmistuksessa luottamuksellisten havaitsemismenetelmien rinnalla tarvitaan selkeät säännöt, dokumentoidut päätökset sekä todellinen mahdollisuus oikaisuun tai muutoksenhakuun.

Mercorin raportoitu linja

Mercor on raporttien mukaan ilmoittanut, että tekoälyn käyttäminen tämän arviointityön tekemiseen rikkoo sen käytäntöjä. Vahvistetusta rikkomuksesta seuraa välitön poistaminen kyseisestä projektista. Raporttien mukaan kielto koski laajemminkin tekoälyapua, myös palautteen tai kommenttien kirjoittamiseen käytettyjä työkaluja. 640

Ihmispalautteen ongelma on tekoälyä laajempi

Raportoitu tapaus, jossa arvioita annettiin tarkoituksella huonosti, havainnollistaa laajempaa ongelmaa: ihmiseltä tullut palaute ei ole luotettavaa vain siksi, että sen on syöttänyt ihminen. Arvioija voi kiirehtiä, ymmärtää ohjeiston väärin, tavoitella suurta suoritemäärää, toimia vilpillisesti tai yrittää pelata läpinäkymätöntä laadunvalvontaa vastaan.

Kyse on teknisen haasteen lisäksi kannustinongelmasta. Mallikehittäjä tarvitsee huolellisia, kalibroituja ja vilpittömiä arvioita, jotka ennustavat parempaa toimintaa käytännössä. Urakoitsijaa saatetaan kuitenkin palkita ennen kaikkea nopeudesta, tehtävien valmistumisesta tai hylkäysten välttämisestä. Kun tavoitteet erkanevat, data voi muuttua kohinaiseksi tai vääristyä järjestelmällisesti.

Millaiset suojaukset vahvistavat arviointia

Ihmisarviointi on edelleen tärkeää tilanteissa, joissa harkinta on sidonnaista asiayhteyteen, subjektiivista tai vaikeasti automaattisesti todennettavaa. Se toimii kuitenkin parhaiten tarkastusjärjestelmänä, ei pelkkänä yksittäisten pisteiden virtana. Käytännön suojauksia ovat esimerkiksi:

• Päällekkäisarviointi: osa samoista tehtävistä annetaan usealle riippumattomalle arvioijalle, ja erimielisyyksiä tarkastellaan.
• Kalibrointitehtävät: tunnettujen esimerkkien avulla varmistetaan, että arvioijat ymmärtävät ohjeiston samalla tavalla.
• Laatuauditoinnit: epäilyttäviä malleja tutkitaan, mutta yksittäistä tyylipiirrettä ei pidetä ratkaisevana todisteena.
• Roolien erottelu: tuotantoarviointi, laadunvarmistus ja muutoksenhaku pidetään erillään.
• Vaikutusten validointi: tarkistetaan, parantaako korkeita arvioita saanut data aidosti mallin toimintaa käyttäjien kannalta.
• Yksityisyyden suoja: arvioijille näytettävää tietoa minimoidaan ja suodatuksen kykyä poistaa arkaluonteiset tiedot testataan jatkuvasti. Project Lilystä kertovien raporttien mukaan keskusteluihin voi anonymisoinnista huolimatta päätyä henkilötietoja. 19

Keskeinen opetus on yksinkertainen: preferenssikoulutus on vain niin luotettavaa kuin prosessi, jolla preferenssit tuotetaan. Ihmisarvioijat eivät itsessään takaa laatua, eikä tekoälyn tuottama arviointi voi sellaisenaan korvata riippumatonta ihmispalautetta, kun tavoitteena on oppia, mitä ihmiset todella arvostavat.