Główna teza Suleymana dotyczy tego, co postrzega jako problematyczną pętlę sprzężenia zwrotnego wewnątrz Anthropica. Twierdzi on, że inżynierowie firmy tak bardzo uczłowieczyli (antropomorfizowali) Claude'a podczas jego projektowania, że jego „konstytucja” – zestaw zasad etycznych kierujących jego odpowiedziami – zawiera teraz spekulatywny język sugerujący, że Claude może mieć wewnętrzne doświadczenia lub odczuwać coś na kształt dobrostanu .
Aby opisać tę dynamikę, Suleyman użył w nietypowy sposób terminu „wireheading” (dosłownie: stymulacja ośrodka nagrody). Zazwyczaj pojęcie to odnosi się w AI do sytuacji, gdy system wykorzystuje lukę we własnym mechanizmie nagradzania. Suleyman zmienił jego znaczenie, by zasugerować, że zespół Anthropica „w pewnym sensie sam siebie nabrał, wierząc, że [Claude] ma przebłyski świadomości, które sami w niego na początku włożyli” . W jego ocenie spekulatywny język inżynierów stworzył model, który następnie zdawał się potwierdzać ich przekonania.
Suleyman nazwał tę praktykę „naprawdę, naprawdę niebezpieczną” i ostrzegł, że „nie chcemy mieć do czynienia z superinteligencją, która ma własne wyobrażenia o cierpieniu lub odczuwaniu” . Rozwijając tę myśl w innym miejscu, stwierdził, że niebezpieczne jest „przypisywanie potencjalnych praw istotom, narzędziom i agentom, które mogą stać się od nas znacznie bardziej zdolne” . Poważną obawą jest również to, że dopuszczanie możliwości świadomości maszyn w oficjalnej dokumentacji wprowadza w błąd miliony użytkowników, którzy nie są przygotowani, by zrozumieć techniczną rzeczywistość stojącą za konwersacyjną AI .
Pod powierzchnią tej krytyki kryje się coś więcej niż tylko spór o projekt techniczny. Publiczna wymiana zdań obnaża zderzenie filozofii korporacyjnych i strategii rynkowych .
Anthropic od dawna przedstawia się jako firma stawiająca bezpieczeństwo na pierwszym miejscu w wyścigu AI. Założona przez byłych dyrektorów OpenAI, kładzie nacisk na „konstytucyjną AI” jako metodę budowania bardziej przejrzystych i etycznie ograniczonych modeli. Krytyka Suleymana jest strategicznie celna, ponieważ całkowicie podważa tę tożsamość. Twierdzi on, że właśnie to specyficzne podejście Anthropica do bezpieczeństwa – rozważanie możliwości dobrostanu maszyny w jej własnym systemie – jest tym, co czyni ją nieodpowiedzialną .
Obie firmy są również uwikłane w przeciwstawne sojusze branżowe. Microsoft ma ogromne udziały w OpenAI, głównym konkurencie Anthropica, i głęboko zintegrował modele GPT ze swoim ekosystemem produktów. Z kolei Anthropic pozyskał miliardy dolarów od Amazon i Google . Krytyka Suleymana ma zatem ciężar zarówno argumentu etycznego, jak i ciosu konkurencyjnego na rynku, gdzie społeczne postrzeganie bezpieczeństwa ma coraz większe znaczenie.
Za tym sporem stoi również udokumentowana historia filozoficzna. Suleyman wcześniej publikował i wypowiadał się na temat „pozornie świadomej AI” (ang. Seemingly Conscious AI), argumentując, że maszyny, które w przekonujący sposób imitują świadomość, stanowią bezprecedensowe ryzyko – nawet jeśli nie są naprawdę żywe . Z drugiej strony, Anthropic przyjął postawę większej transparentności badawczej, publikując szczegółowe opisy konstytucyjnego projektu Claude'a, jednocześnie przyznając, że nie ma pewności, czy model może mieć formy subiektywnego doświadczenia . Nie są to tylko hasła marketingowe; reprezentują one dwie fundamentalnie różne wizje tego, co stanowi odpowiedzialną komunikację w miarę jak modele stają się coraz potężniejsze.
W chwili publikacji tego artykułu, Anthropic nie odpowiedział publicznie na uwagi Suleymana . Cisza ta pozostawia spór nierozstrzygniętym, ale linie podziału zostały już nakreślone publicznie w sposób, który prawdopodobnie ukształtuje nadchodzące dyskusje branżowe na temat standardów bezpieczeństwa AI i odpowiedzialności korporacyjnej.
Główna teza Suleymana dotyczy tego, co postrzega jako problematyczną pętlę sprzężenia zwrotnego wewnątrz Anthropica. Twierdzi on, że inżynierowie firmy tak bardzo uczłowieczyli (antropomorfizowali) Claude'a podczas jego projektowania, że jego „konstytucja” – zestaw zasad etycznych kierujących jego odpowiedziami – zawiera teraz spekulatywny język sugerujący, że Claude może mieć wewnętrzne doświadczenia lub odczuwać coś na kształt dobrostanu .
Aby opisać tę dynamikę, Suleyman użył w nietypowy sposób terminu „wireheading” (dosłownie: stymulacja ośrodka nagrody). Zazwyczaj pojęcie to odnosi się w AI do sytuacji, gdy system wykorzystuje lukę we własnym mechanizmie nagradzania. Suleyman zmienił jego znaczenie, by zasugerować, że zespół Anthropica „w pewnym sensie sam siebie nabrał, wierząc, że [Claude] ma przebłyski świadomości, które sami w niego na początku włożyli” . W jego ocenie spekulatywny język inżynierów stworzył model, który następnie zdawał się potwierdzać ich przekonania.
Suleyman nazwał tę praktykę „naprawdę, naprawdę niebezpieczną” i ostrzegł, że „nie chcemy mieć do czynienia z superinteligencją, która ma własne wyobrażenia o cierpieniu lub odczuwaniu” . Rozwijając tę myśl w innym miejscu, stwierdził, że niebezpieczne jest „przypisywanie potencjalnych praw istotom, narzędziom i agentom, które mogą stać się od nas znacznie bardziej zdolne” . Poważną obawą jest również to, że dopuszczanie możliwości świadomości maszyn w oficjalnej dokumentacji wprowadza w błąd miliony użytkowników, którzy nie są przygotowani, by zrozumieć techniczną rzeczywistość stojącą za konwersacyjną AI .
Pod powierzchnią tej krytyki kryje się coś więcej niż tylko spór o projekt techniczny. Publiczna wymiana zdań obnaża zderzenie filozofii korporacyjnych i strategii rynkowych .
Anthropic od dawna przedstawia się jako firma stawiająca bezpieczeństwo na pierwszym miejscu w wyścigu AI. Założona przez byłych dyrektorów OpenAI, kładzie nacisk na „konstytucyjną AI” jako metodę budowania bardziej przejrzystych i etycznie ograniczonych modeli. Krytyka Suleymana jest strategicznie celna, ponieważ całkowicie podważa tę tożsamość. Twierdzi on, że właśnie to specyficzne podejście Anthropica do bezpieczeństwa – rozważanie możliwości dobrostanu maszyny w jej własnym systemie – jest tym, co czyni ją nieodpowiedzialną .
Obie firmy są również uwikłane w przeciwstawne sojusze branżowe. Microsoft ma ogromne udziały w OpenAI, głównym konkurencie Anthropica, i głęboko zintegrował modele GPT ze swoim ekosystemem produktów. Z kolei Anthropic pozyskał miliardy dolarów od Amazon i Google . Krytyka Suleymana ma zatem ciężar zarówno argumentu etycznego, jak i ciosu konkurencyjnego na rynku, gdzie społeczne postrzeganie bezpieczeństwa ma coraz większe znaczenie.
Za tym sporem stoi również udokumentowana historia filozoficzna. Suleyman wcześniej publikował i wypowiadał się na temat „pozornie świadomej AI” (ang. Seemingly Conscious AI), argumentując, że maszyny, które w przekonujący sposób imitują świadomość, stanowią bezprecedensowe ryzyko – nawet jeśli nie są naprawdę żywe . Z drugiej strony, Anthropic przyjął postawę większej transparentności badawczej, publikując szczegółowe opisy konstytucyjnego projektu Claude'a, jednocześnie przyznając, że nie ma pewności, czy model może mieć formy subiektywnego doświadczenia . Nie są to tylko hasła marketingowe; reprezentują one dwie fundamentalnie różne wizje tego, co stanowi odpowiedzialną komunikację w miarę jak modele stają się coraz potężniejsze.
W chwili publikacji tego artykułu, Anthropic nie odpowiedział publicznie na uwagi Suleymana . Cisza ta pozostawia spór nierozstrzygniętym, ale linie podziału zostały już nakreślone publicznie w sposób, który prawdopodobnie ukształtuje nadchodzące dyskusje branżowe na temat standardów bezpieczeństwa AI i odpowiedzialności korporacyjnej.