OpenAI:n yli 100 matematiikkaongelman väite: mikä on todennettu ja mikä ei

OpenAI:n 21. syyskuuta julkaisema ilmoitus oli poikkeuksellisen suuri tutkimusväite, ei vielä matematiikan yhteisön hyväksymä tulos. Yhtiö kertoi nimeämättömän sisäisen mallin, jonka koulutus alkoi 28. elokuuta, ratkaisseen yli 100 pitkään avointa ongelmaa useimmilta matematiikan aloilta. Samalla se julkisti Princetonissa toimivan Institute for Advanced Studyn isännöimän riippumattoman matematiikan neuvonantajaryhmän. 515

Keskeinen ero on tämä: yrityksen väite ratkaisusta ei ole sama asia kuin riippumattomasti tarkastettu ja hyväksytty matemaattinen todistus. Julkinen aineisto tukee ensimmäistä, mutta ei vielä osoita jälkimmäistä koko yli 100 ongelman joukolle.

Mitä OpenAI sanoi saavuttaneensa?

Ilmoitusta edelsi OpenAI:n 8. syyskuuta esittämä väite, jonka mukaan noin 10 000 tekoälyagenttia käytti julkaisematonta sisäistä mallia ja löysi 88 tunnissa äärellisessä ajassa syntyvän singulaarisuuden pakotetuille kolmiulotteisille Navier–Stokes-yhtälöille. OpenAI kuvasi tätä ratkaisuksi Navier–Stokesin olemassaolo- ja sileysongelmaan ja sanoi tuottaneensa sekä analyyttisen todistuksen että Lean-formalisoinnin. 113

1. syyskuuta yhtiö laajensi väitteensä Navier–Stokesin ulkopuolelle: sisäinen malli oli sen mukaan ratkaissut yli 100 pitkään avointa ongelmaa. 515

Sanamuoto on olennainen. Sana ”ratkaissut” on OpenAI:n oma luonnehdinta. Se ei tarkoita, että jokainen tulos olisi julkaistu, ulkopuolisten asiantuntijoiden tarkastama tai matematiikan yhteisön hyväksymä.

Mitä näyttöä julkaistiin – ja mitä ei?

Navier–Stokes-tuloksesta OpenAI kertoi julkaisseensa analyyttisen todistuksen ja Lean-formalisoinnin. Lean on todistusavustajaohjelmisto: sen tarkistus on merkityksellinen osoitus siitä, että täsmällisesti muotoiltu väite seuraa ohjelmaan koodatuista määritelmistä, aksioomista ja aiemmista kirjastoista. 13

Yli 100 ongelmaa koskevasta laajemmasta väitteestä julkinen näyttö on kuitenkin huomattavasti ohuempaa. Syyskuun 21. päivän ilmoitus ei sisältänyt avointa, yksilöityä luetteloa ongelmista, niiden tarkoista muotoiluista, todistuksista, formalisointitilanteesta, alkuperästä tai riippumattoman arvioinnin vaiheesta. Siksi ulkopuolinen arvioija ei voi tarkistaa otsikkolukua ongelma kerrallaan. 711

Saatavilla oleva raportointi ei myöskään osoita, että Navier–Stokes-todistus olisi jo käynyt läpi täydellisen riippumattoman vertaisarvioinnin tai saanut yleisen hyväksynnän matemaatikoiden keskuudessa. Nämä ovat eri asioita kuin todistusartefaktin julkaiseminen tai koodin onnistunut kääntyminen. 146

Onko Hodgen konjektuuri ratkaistu?

Ei ole julkista näyttöä, jonka perusteella Hodgen konjektuuria voisi pitää ratkaistuna.

Hodgen konjektuuri kuuluu Clay Mathematics Instituten Millennium-palkinto-ongelmiin. 37 Raportoinnin mukaan OpenAI on myöntänyt edistyneensä merkittävästi toisessa, nimeämättömässä Millennium-ongelmassa. Yhtiö ei kuitenkaan ole julkisesti nimennyt ongelmaa Hodgen konjektuuriksi eikä julkaissut sitä koskevaa todistusta. 14

Huhu, uutisväite tai ilmoitus edistymisestä ei korvaa julkaistua todistusta, jonka tutkimusyhteisö voi tutkia. Kunnes täsmällinen väite ja sitä tukeva työ ovat julkisia ja riippumattomasti arvioituja, vastuullinen johtopäätös on, että OpenAI:n ratkaisua Hodgen konjektuuriin ei ole vahvistettu.

Miksi Lean-todistus voi olla pätevä mutta silti vaikea arvioida?

Formaalinen varmentaminen ja ihmisten matemaattinen ymmärrys ratkaisevat toisiinsa liittyviä, mutta eri ongelmia.

Lean-formalisointi voi antaa vahvan varmuuden siitä, ettei koodattuun väitteeseen jää loogista aukkoa suhteessa sen muodolliseen lähtöasetelmaan. Formaalit todistukset voivat silti olla asiantuntijoillekin raskaita lukea: tavanomainen päättely avataan suureksi määräksi määritelmiä, lemmoja, kirjastoriippuvuuksia, uudelleenkirjoituksia ja teknisiä välivaiheita.

Tämä ei tarkoita, että ”kääntyy onnistuneesti” olisi arvotonta. Se tarkoittaa, ettei pelkkä kääntyminen vastaa kaikkiin niihin kysymyksiin, joihin matemaatikot tarvitsevat vastauksen:

• Vastaako formaali väite täsmälleen tarkoitettua Millennium-ongelmaa?
• Mikä on konstruktion tai singulaarisuusmekanismin keskeinen idea?
• Mitkä arviot ja argumentit tekevät varsinaisen älyllisen työn?
• Onko tulos kestävä, uusi ja muiden tutkijoiden hyödynnettävissä?
• Miten kunnia jaetaan aiempien, samansuuntaisten ideoiden osalta?

Formaalinen tarkistus voi olla tärkeä osa varmistamista. Se ei yksin tuota tiivistä ihmislukijalle avautuvaa esitystä, ratkaise alkuperää koskevia kysymyksiä tai synnytä tiedeyhteisön yhteisymmärrystä.

Vastareaktio: tunnustus, etusija ja tutkimuksen pelisäännöt

Ilmoitus herätti kritiikkiä, joka ei koskenut vain todistuksen teknisiä ansioita. Kaksikymmentäviisi Fields-mitalin saanutta matemaatikkoa allekirjoitti avoimen kirjeen A Severe Misalignment of AI in Mathematics. Kirje arvosteli tekoälylaboratorioiden kilpaa käyttää kuuluisia matematiikan ongelmia mallien kyvykkyyden näytöksinä. Allekirjoittajat varoittivat, että tällaiset kannustimet voivat vahingoittaa matematiikkaa, sen tutkimuskulttuuria ja tutkijakoulutusta. 1921

Erillinen kiista koski etusijaa. Matemaatikko Tristan Buckmaster kertoi samanaikaisessa lausunnossaan, että hänelle oli sanottu OpenAI:n sisäisen järjestelmän tuottaneen todistuksen pakotettujen Navier–Stokes-yhtälöiden äärellisen ajan blow-up-ilmiöstä. Buckmasterin mukaan hän ja Levent Alpöge kokivat painetta julkaista aiheeseen liittyvää työtä ennen kuin heidän oma tarkistuksensa ja esityksensä olivat valmiita. Hän totesi myös, ettei erillistä hypodissipatiivista Navier–Stokes-tulosta julkaistu, koska sen Lean-varmennus ei ollut valmistunut. 17

Buckmasterin kertomus on tärkeä näyttö ajoitusta, tunnustusta ja julkaisupainetta koskevasta kiistasta. Se ei sellaisenaan todista, että OpenAI olisi kopioinut kenenkään työtä. OpenAI kertoi aloittaneensa työnsä kuultuaan huhun Buckmasterin ja Alpögen läpimurrosta ja tarjonneensa samanaikaista julkaisua, jossa heidän etusijansa tunnustettaisiin. 32

Avoin kysymys ei siis ole vain se, voiko tekoäly tuottaa todistuksen. Kyse on myös siitä, voidaanko tekoälyavusteiset löydöt julkaista tavalla, joka mahdollistaa huolellisen ansioiden jakamisen, riippumattoman arvioinnin ja normaalin tieteellisen keskustelun.

Mitä IAS:n isännöimä neuvonantajaryhmä voi – ja ei voi – tehdä?

OpenAI ilmoitti palkattomasta, riippumattomasta yhdeksänjäsenisestä Advisory Group on Mathematics and Artificial Intelligence -neuvonantajaryhmästä, jota isännöi Princetonin Institute for Advanced Study. Raportoinnissa ryhmän jäseniksi on mainittu muun muassa Timothy Gowers ja Martin Hairer. 45

Ryhmän ilmoitettu tehtävä on antaa matemaatikoille rooli tekoälyn tuottaman matemaattisen työn arvioinnissa ja viestinnässä, myös tarkastus- ja julkaisukäytäntöjä koskevassa neuvonnassa. 515

Ryhmä on kuitenkin neuvova, ei valvova elin. Saatavilla olevien tietojen perusteella se ei voi pakottaa OpenAI:ta julkaisemaan todistuksia, määrätä yhtiön tutkimusaikataulusta, estää tiedotteita tai ratkaista lopullisesti tekijyyttä. 7

Rajoitus on olennainen: asiantuntijaneuvonta voi parantaa avoimuutta ja viestintää, mutta se ei yksin muuta yhtiön sisäistä väitettä tiedeyhteisön hyväksymäksi teoreemaksi.

Miksi Millennium-palkintoa ei voi vielä saada?

Clay Mathematics Instituten säännöt ovat yksiselitteiset. Ennen kuin instituutti ottaa ehdotetun Millennium-palkintoratkaisun käsittelyyn, työn on oltava julkaistu hyväksyttävässä julkaisukanavassa, julkaisusta on kuluttava vähintään kaksi vuotta ja tuloksen on saatava yleinen hyväksyntä maailmanlaajuisessa matematiikan yhteisössä. 46

Yritysblogi, esijulkaisu, koodivarasto tai neuvonantajaryhmän arvio ei automaattisesti täytä näitä ehtoja. Clay Mathematics Institute muistutti Navier–Stokes-ilmoituksen jälkeen myös, että sen säännöt koskevat sekä saavutuksen arviointia että ansioiden jakamista. 42

Vaikka OpenAI:n Navier–Stokes-tulos tai jokin myöhempi tulos osoittautuisi lopulta oikeaksi, syyskuun ilmoitukset eivät tehneet niistä välittömästi palkintokelpoisia. Työn pitäisi edelleen edetä vakiintuneen julkaisu- ja hyväksymisprosessin läpi.

Johtopäätös

OpenAI väittää sisäisen tekoälymallinsa ratkaisseen yli 100 avointa matematiikan ongelmaa sen jälkeen, kun yhtiö oli kertonut Lean-formalisoidusta Navier–Stokes-ratkaisusta. Navier–Stokes-työstä on julkisia aineistoja, mutta laajemmasta tulosjoukosta ei vielä ole avointa, ongelmakohtaista näyttöaineistoa. 1311

Tällä hetkellä järkevä arvio ei ole hylkäys eikä hyväksyntä. Kyse on mahdollisesti hyvin merkittävistä väitteistä, jotka vaativat avoimia todistuksia, asiantuntijatarkastusta, huolellista ansioiden tunnustamista ja aikaa. Tämä pätee erityisesti kaikkiin väitteisiin siitä, että jokin toinen Millennium-ongelma, kuten Hodgen konjektuuri, olisi ratkaistu.