Mitä "Computer Use" oikeastaan tekee

Codexin Computer Use -ominaisuus antaa tekoälyagentille mahdollisuuden olla vuorovaikutuksessa graafisten macOS-sovellusten kanssa samalla tavalla kuin ihminen – tarkkailemalla käyttöliittymää ja suorittamalla toimintoja, kuten napsauttamalla painikkeita, kirjoittamalla kenttiin ja navigoimalla valikoissa.

Sen sijaan, että järjestelmä luottaisi vain API-rajapintoihin tai komentorivityökaluihin, se voi käyttää graafista käyttöliittymää suoraan. Tämä tarkoittaa, että se pystyy automatisoimaan tehtäviä työpöytäsovellusten sisällä, suorittamaan selaintyönkulkuja, testaamaan GUI-ohjelmistoja tai säätämään sovellusasetuksia, jotka eivät ole saatavilla muiden integraatioiden kautta.

Ominaisuutta kuvailevien raporttien mukaan agentti havainnoi työpöytää visuaalisesti ja suorittaa toimintoja, kuten kursorin liikkeitä, napsautuksia ja näppäimistön painalluksia taustalla.

Remote Computer Use Macin lukituksen jälkeen

Suuri muutos 21. toukokuuta 2025 julkaistussa päivityksessä on, että Codex voi jatkaa macOS-sovellusten käyttöä, vaikka Mac olisi lukittu, ja sitä voidaan ohjata etänä yhdistetyltä mobiililaitteelta Codex Mobile -sovelluksen kautta.

Aiemmat tekoälyn "tietokoneen käyttö" -järjestelmät vaativat tyypillisesti:

• Tietokoneen pysymisen auki
• Näytön pysymisen päällä
• Agentin tarkkailevan live-näyttöä

Uusi ominaisuus poistaa tuon rajoituksen. Julkaisutietojen mukaan Codex voi jatkaa työpöytäsovellusten käyttöä Macin lukituksen jälkeen, mikä mahdollistaa pidempään kestävät automatisoidut tehtävät tai etäohjauksen työnkulut.

Tarkkaa teknistä mekanismia, joka mahdollistaa tämän, ei ole kuitenkaan julkisesti dokumentoitu. Saatavilla olevat lähteet vahvistavat ominaisuuden, mutta eivät kuvaa, miten macOS:n syöte- ja visuaalinen pääsy säilytetään, kun näyttö on pois päältä.

Näin otat Remote Computer Use -ominaisuuden käyttöön Codex-sovelluksessa

Käyttäjät ottavat ominaisuuden käyttöön Codex-työpöytäsovelluksen asennusprosessin kautta.

1. Asenna Computer Use -lisäosa

Codex-sovelluksen sisällä:

• Avaa Asetukset (Cmd + ,)
• Siirry kohtaan Computer Use
• Napsauta Asenna asentaaksesi Computer Use -lisäosan.

2. Myönnä macOS-käyttöoikeudet

Asennuksen aikana macOS pyytää järjestelmätason käyttöoikeuksia. Käyttäjän on hyväksyttävä:

• Näytön tallennus – antaa Codexin nähdä sovellusten käyttöliittymät
• Käytettävyys – antaa Codexin ohjata käyttöliittymäelementtejä, kuten napsautuksia ja kirjoittamista.

Nämä käyttöoikeudet ovat välttämättömiä, koska agentti on vuorovaikutuksessa graafisen käyttöliittymän kanssa suoraan.

3. Määritä etäyhteys isäntäkoneeseen

Jotta etäohjaus toisesta laitteesta on mahdollista:

• Aloita asennusprosessi Codex-sovelluksessa isäntä-Macilla
• Valitse vaihtoehto, jolla yhdistetään mobiililaite
• Skannaa näytöllä näkyvä QR-koodi ChatGPT-mobiilisovelluksella yhdistämisen viimeistelemiseksi.

Kun yhteys on muodostettu, käyttäjät voivat aloittaa, ohjata ja tarkistaa Codex-tehtäviä etänä puhelimestaan, kun taas isäntä-Mac suorittaa automaatiota taustalla.

Codexiin rakennetut turvatoimet

Koska tekoälyagentin tietokoneen ohjaamiseen liittyy ilmeisiä riskejä, OpenAI on lisännyt useita suojauskerroksia.

Hiekkalaatikkorajoitukset

Codex toimii käyttöjärjestelmän pakottamassa hiekkalaatikossa (sandbox), joka rajoittaa sitä, mihin se pääsee käsiksi paikallisesti, tyypillisesti rajoittaen toiminnot nykyiseen työtilaan tai sallittuun ympäristöön.

Hyväksyntäpolitiikka

Hyväksyntäpolitiikka (approval policy) määrittää, milloin agentin on pysähdyttävä ja pyydettävä käyttäjän lupaa ennen jatkamista. Tämä mahdollistaa rutiinitoimintojen automaattisen suorittamisen, kun taas riskialttiimmat toimet vaativat ihmisen vahvistuksen.

Verkkoyhteys pois päältä oletuksena

Oletuksena Codex toimii ilman verkkoyhteyttä, mikä vähentää tahattomien ulkoisten yhteyksien mahdollisuutta automatisoitujen tehtävien aikana.

Selkeät sovellusluvat

Järjestelmä turvautuu myös macOS:n lupakyselyihin – kuten Näytön tallennus- ja Käytettävyys-käyttöoikeuksiin – varmistaakseen, että käyttäjä nimenomaisesti valtuuttaa käyttöliittymän ohjauksen.

Lisäksi jotkut toteutukset edellyttävät, että käyttäjä hyväksyy jokaisen uuden sovelluksen ennen kuin Codex voi olla sen kanssa vuorovaikutuksessa.

Alueelliset saatavuusrajoitukset

Julkaisuhetkellä Computer Use Codex-sovelluksessa on rajoitettu macOS:ään, eikä se ole saatavilla useilla alueilla.

OpenAI:n dokumentaation mukaan ominaisuus ei ole saatavilla:

• Euroopan talousalueella (ETA)
• Isossa-Britanniassa
• Sveitsissä.

Yritys ei ole julkisesti antanut yksityiskohtaista selitystä näille rajoituksille, vaikka sääntelyyn ja vaatimustenmukaisuuteen liittyvät näkökohdat ovat usein tekijöitä ominaisuuksien varhaisissa käyttöönotoissa.

Muut Remote Computer Use -ominaisuuden rinnalla julkaistut uudet toiminnot

Sama päivitys toi mukanaan useita muita ominaisuuksia, jotka laajentavat Codexia pelkän koodauksen avustamisen ulkopuolelle.

Tavoitetila (Goal Mode)

Tavoitetila antaa Codexin tavoittella pysyvää päämäärää pitkien ajanjaksojen ajan, mahdollisesti tunteja tai päiviä, kunnes tehtävä on valmis tai vaatii hyväksynnän. Käyttäjät käynnistävät sen /goal-komennolla Codex-käyttöliittymässä.

Appshots

Appshots tarjoaa nopean tavan antaa Codexille kontekstia toisesta sovelluksesta. Painamalla molempia Command-näppäimiä otetaan kuvakaappaus aktiivisesta ikkunasta ja lähetetään:

• Kuvakaappaus ikkunasta
• Poimittu teksti käyttöliittymästä

Tämä antaa Codexin ymmärtää, mitä toisessa sovelluksessa tapahtuu ilman manuaalista kopiointia tai selitystä.

Mikä on edelleen epäselvää

Ominaisuuden kyvyistä huolimatta useat yksityiskohdat ovat edelleen julkisesti dokumentoimattomia:

• Tarkka tekninen menetelmä, jolla Codex pystyy ohjaamaan macOS-sovelluksia Macin ollessa lukittu tai näytön ollessa pois päältä
• Sisäinen arkkitehtuuri, jota käytetään visuaalisen kontekstin ja syöteohjauksen ylläpitämiseen tässä tilassa
• Kolmannen osapuolen tietoturvatutkijoiden yksityiskohtaiset yritysriskianalyysit

Saatavilla oleva dokumentaatio vahvistaa toiminnallisuuden ja asennusprosessin, mutta ei selitä täysin taustalla olevaa järjestelmäsuunnittelua.

Miksi Remote Computer Use on tärkeä

Ominaisuus merkitsee siirtymää kohti pysyviä tekoälyagentteja, jotka toimivat suoraan todellisissa tietojenkäsittely-ympäristöissä. Sen sijaan, että käyttäjät antaisivat ohjeita ja odottavat tuloksia, he voivat antaa tekoälyn käyttää ohjelmistoja, testata käyttöliittymiä ja automatisoida työnkulkuja jatkuvasti taustalla.

Jos se yleistyy, Remote Computer Use -kaltaiset ominaisuudet voivat hämärtää rajaa perinteisten automaatiotyökalujen ja autonomisten ohjelmistoagenttien välillä – varsinkin kun Goal Mode -kaltaiset ominaisuudet antavat Codexin tavoitella tehtäviä pitkien aikahorisonttien yli.

Mitä "Computer Use" oikeastaan tekee

Codexin Computer Use -ominaisuus antaa tekoälyagentille mahdollisuuden olla vuorovaikutuksessa graafisten macOS-sovellusten kanssa samalla tavalla kuin ihminen – tarkkailemalla käyttöliittymää ja suorittamalla toimintoja, kuten napsauttamalla painikkeita, kirjoittamalla kenttiin ja navigoimalla valikoissa.

Sen sijaan, että järjestelmä luottaisi vain API-rajapintoihin tai komentorivityökaluihin, se voi käyttää graafista käyttöliittymää suoraan. Tämä tarkoittaa, että se pystyy automatisoimaan tehtäviä työpöytäsovellusten sisällä, suorittamaan selaintyönkulkuja, testaamaan GUI-ohjelmistoja tai säätämään sovellusasetuksia, jotka eivät ole saatavilla muiden integraatioiden kautta.

Ominaisuutta kuvailevien raporttien mukaan agentti havainnoi työpöytää visuaalisesti ja suorittaa toimintoja, kuten kursorin liikkeitä, napsautuksia ja näppäimistön painalluksia taustalla.

Remote Computer Use Macin lukituksen jälkeen

Suuri muutos 21. toukokuuta 2025 julkaistussa päivityksessä on, että Codex voi jatkaa macOS-sovellusten käyttöä, vaikka Mac olisi lukittu, ja sitä voidaan ohjata etänä yhdistetyltä mobiililaitteelta Codex Mobile -sovelluksen kautta.

Aiemmat tekoälyn "tietokoneen käyttö" -järjestelmät vaativat tyypillisesti:

• Tietokoneen pysymisen auki
• Näytön pysymisen päällä
• Agentin tarkkailevan live-näyttöä

Uusi ominaisuus poistaa tuon rajoituksen. Julkaisutietojen mukaan Codex voi jatkaa työpöytäsovellusten käyttöä Macin lukituksen jälkeen, mikä mahdollistaa pidempään kestävät automatisoidut tehtävät tai etäohjauksen työnkulut.

Tarkkaa teknistä mekanismia, joka mahdollistaa tämän, ei ole kuitenkaan julkisesti dokumentoitu. Saatavilla olevat lähteet vahvistavat ominaisuuden, mutta eivät kuvaa, miten macOS:n syöte- ja visuaalinen pääsy säilytetään, kun näyttö on pois päältä.

Näin otat Remote Computer Use -ominaisuuden käyttöön Codex-sovelluksessa

Käyttäjät ottavat ominaisuuden käyttöön Codex-työpöytäsovelluksen asennusprosessin kautta.

1. Asenna Computer Use -lisäosa

Codex-sovelluksen sisällä:

• Avaa Asetukset (Cmd + ,)
• Siirry kohtaan Computer Use
• Napsauta Asenna asentaaksesi Computer Use -lisäosan.

2. Myönnä macOS-käyttöoikeudet

Asennuksen aikana macOS pyytää järjestelmätason käyttöoikeuksia. Käyttäjän on hyväksyttävä:

• Näytön tallennus – antaa Codexin nähdä sovellusten käyttöliittymät
• Käytettävyys – antaa Codexin ohjata käyttöliittymäelementtejä, kuten napsautuksia ja kirjoittamista.

Nämä käyttöoikeudet ovat välttämättömiä, koska agentti on vuorovaikutuksessa graafisen käyttöliittymän kanssa suoraan.

3. Määritä etäyhteys isäntäkoneeseen

Jotta etäohjaus toisesta laitteesta on mahdollista:

• Aloita asennusprosessi Codex-sovelluksessa isäntä-Macilla
• Valitse vaihtoehto, jolla yhdistetään mobiililaite
• Skannaa näytöllä näkyvä QR-koodi ChatGPT-mobiilisovelluksella yhdistämisen viimeistelemiseksi.

Kun yhteys on muodostettu, käyttäjät voivat aloittaa, ohjata ja tarkistaa Codex-tehtäviä etänä puhelimestaan, kun taas isäntä-Mac suorittaa automaatiota taustalla.

Codexiin rakennetut turvatoimet

Koska tekoälyagentin tietokoneen ohjaamiseen liittyy ilmeisiä riskejä, OpenAI on lisännyt useita suojauskerroksia.

Hiekkalaatikkorajoitukset

Codex toimii käyttöjärjestelmän pakottamassa hiekkalaatikossa (sandbox), joka rajoittaa sitä, mihin se pääsee käsiksi paikallisesti, tyypillisesti rajoittaen toiminnot nykyiseen työtilaan tai sallittuun ympäristöön.

Hyväksyntäpolitiikka

Hyväksyntäpolitiikka (approval policy) määrittää, milloin agentin on pysähdyttävä ja pyydettävä käyttäjän lupaa ennen jatkamista. Tämä mahdollistaa rutiinitoimintojen automaattisen suorittamisen, kun taas riskialttiimmat toimet vaativat ihmisen vahvistuksen.

Verkkoyhteys pois päältä oletuksena

Oletuksena Codex toimii ilman verkkoyhteyttä, mikä vähentää tahattomien ulkoisten yhteyksien mahdollisuutta automatisoitujen tehtävien aikana.

Selkeät sovellusluvat

Järjestelmä turvautuu myös macOS:n lupakyselyihin – kuten Näytön tallennus- ja Käytettävyys-käyttöoikeuksiin – varmistaakseen, että käyttäjä nimenomaisesti valtuuttaa käyttöliittymän ohjauksen.

Lisäksi jotkut toteutukset edellyttävät, että käyttäjä hyväksyy jokaisen uuden sovelluksen ennen kuin Codex voi olla sen kanssa vuorovaikutuksessa.

Alueelliset saatavuusrajoitukset

Julkaisuhetkellä Computer Use Codex-sovelluksessa on rajoitettu macOS:ään, eikä se ole saatavilla useilla alueilla.

OpenAI:n dokumentaation mukaan ominaisuus ei ole saatavilla:

• Euroopan talousalueella (ETA)
• Isossa-Britanniassa
• Sveitsissä.

Yritys ei ole julkisesti antanut yksityiskohtaista selitystä näille rajoituksille, vaikka sääntelyyn ja vaatimustenmukaisuuteen liittyvät näkökohdat ovat usein tekijöitä ominaisuuksien varhaisissa käyttöönotoissa.

Muut Remote Computer Use -ominaisuuden rinnalla julkaistut uudet toiminnot

Sama päivitys toi mukanaan useita muita ominaisuuksia, jotka laajentavat Codexia pelkän koodauksen avustamisen ulkopuolelle.

Tavoitetila (Goal Mode)

Tavoitetila antaa Codexin tavoittella pysyvää päämäärää pitkien ajanjaksojen ajan, mahdollisesti tunteja tai päiviä, kunnes tehtävä on valmis tai vaatii hyväksynnän. Käyttäjät käynnistävät sen /goal-komennolla Codex-käyttöliittymässä.

Appshots

Appshots tarjoaa nopean tavan antaa Codexille kontekstia toisesta sovelluksesta. Painamalla molempia Command-näppäimiä otetaan kuvakaappaus aktiivisesta ikkunasta ja lähetetään:

• Kuvakaappaus ikkunasta
• Poimittu teksti käyttöliittymästä

Tämä antaa Codexin ymmärtää, mitä toisessa sovelluksessa tapahtuu ilman manuaalista kopiointia tai selitystä.

Mikä on edelleen epäselvää

Ominaisuuden kyvyistä huolimatta useat yksityiskohdat ovat edelleen julkisesti dokumentoimattomia:

• Tarkka tekninen menetelmä, jolla Codex pystyy ohjaamaan macOS-sovelluksia Macin ollessa lukittu tai näytön ollessa pois päältä
• Sisäinen arkkitehtuuri, jota käytetään visuaalisen kontekstin ja syöteohjauksen ylläpitämiseen tässä tilassa
• Kolmannen osapuolen tietoturvatutkijoiden yksityiskohtaiset yritysriskianalyysit

Saatavilla oleva dokumentaatio vahvistaa toiminnallisuuden ja asennusprosessin, mutta ei selitä täysin taustalla olevaa järjestelmäsuunnittelua.

Miksi Remote Computer Use on tärkeä

Ominaisuus merkitsee siirtymää kohti pysyviä tekoälyagentteja, jotka toimivat suoraan todellisissa tietojenkäsittely-ympäristöissä. Sen sijaan, että käyttäjät antaisivat ohjeita ja odottavat tuloksia, he voivat antaa tekoälyn käyttää ohjelmistoja, testata käyttöliittymiä ja automatisoida työnkulkuja jatkuvasti taustalla.

Jos se yleistyy, Remote Computer Use -kaltaiset ominaisuudet voivat hämärtää rajaa perinteisten automaatiotyökalujen ja autonomisten ohjelmistoagenttien välillä – varsinkin kun Goal Mode -kaltaiset ominaisuudet antavat Codexin tavoitella tehtäviä pitkien aikahorisonttien yli.