야오순위는 AI가 사이버 분야에서처럼 생물학 분야에서도 실제 피해를 일으킬 수 있는 역량에 가까워지고 있다고 경고했다.
11월 4일 공개된 Hy4는 시각 이해와 컴퓨터 사용 기능을 갖췄다. 텐센트는 모델 가중치와 시스템 카드가 추후 공개될 예정이라고 밝혔다.
텐센트는 Hy4가 생물학 실험 설계 평가에서 100점 만점에 30.4점을 받았으며, 사이버 보안 학습 자료를 방어 목적 중심으로 제한하고 보안 전문가의 레드팀 점검을 진행했다고 설명했다.
What did Tencent’s 29-year-old chief AI scientist Yao Shunyu, who joined Tencent last year after a year at OpenAI, warn at the November 7 scAn editorial illustration of AI and biological research.
AI 프롬프트
Create a landscape editorial hero image for this Studio Global article: What did Tencent’s 29-year-old chief AI scientist Yao Shunyu, who joined Tencent last year after a year at OpenAI, warn at the November 7 sc. Article summary: Yao’s central warning was that AI can already cause harm in cyberspace and is approaching a comparable threshold in biology, where separating offensive from defensive capabilities may be even harder. That is a warning ab. Topic tags: general, general web, government, academic, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, wate
openai.com
텐센트의 수석 AI 과학자 야오순위가 홍콩 과학 심포지엄에서 AI 모델의 생물학 역량이 머지않아 실제 피해를 일으킬 수 있는 수준에 도달할 수 있다고 경고했다. 사이버 보안 분야에서 이미 나타난 위험이 생물학 분야에서도 현실화할 수 있다는 취지다. 다만 이는 프런티어 AI 전반의 위험에 대한 경고이지, 텐센트가 최근 공개한 Hy4가 생물학 분야의 고위험 기준을 이미 넘었다는 뜻은 아니다. 28
야오순위가 경고한 생물학 분야의 위험
야오가 우려한 지점은 AI의 생물학 활용 능력이 실제 피해로 이어질 수 있는 수준에 가까워지고 있다는 것이다. 보도에 따르면 그는 생물학에서는 공격 목적의 활용과 방어 목적의 활용을 구분하기가 사이버 보안보다 더 어려울 수 있다는 문제도 짚었다. 18
이는 현재의 모든 AI 모델이 유해한 생물학 작업을 수행할 수 있다는 진단은 아니다. AI가 신약이나 치료법 연구를 앞당길 수 있다는 기대와 함께, 역량이 커질수록 악용 위험도 커질 수 있다는 전망에 가깝다. 8
Hy4의 생물학 평가 결과는 무엇을 말하나
텐센트는 11월 4일 Hy4를 공개했다. 총 7,700억 개의 매개변수를 갖춘 이 모델에는 시각 이해와 추론, 컴퓨터 사용 기능이 추가됐다. 명령줄이나 그래픽 인터페이스를 통해 작업을 수행할 수 있다는 설명이다. 45
텐센트는 모델 가중치와 추가 안전 정보를 담은 시스템 카드를 추후 공개할 계획이라고 밝혔다. 따라서 모델 서비스 공개와 가중치·시스템 카드 공개는 구분해서 볼 필요가 있다. 1912
생물학 분야에서 텐센트가 밝힌 Hy4의 점수는 개방형 생물학 실험 설계를 평가하는 Hy-BioExperimentBench에서 100점 만점에 30.4점이다. 회사는 이 결과가 자체 고위험 기준보다 낮다고 설명했다. 내부 평가에서는 기본적인 생물학 지식은 갖췄지만, 이를 실행 가능한 실험 절차로 구체화하는 능력은 제한적이라고 밝혔다. 413
이 결과는 야오의 경고와 모순되지 않는다. 경고는 프런티어 AI의 전반적인 역량 변화에 관한 것이고, 점수는 특정 모델인 Hy4에 대한 텐센트의 평가이기 때문이다. 또한 점수와 고위험 기준은 회사가 제시한 평가 결과이지, Hy4의 안전성을 독립적으로 보증하는 자료는 아니다. 813
텐센트가 밝힌 사이버 보안 조치
텐센트는 Hy4 학습 과정에서 사이버 보안 자료를 개념증명 코드 생성이나 취약점 수정 등 방어 목적의 내용으로 제한했다고 밝혔다. 익스플로잇 개발, 역공학, 침투 테스트 관련 자료는 걸러냈다는 설명이다. 또 자사 쉬안우 랩과 킨 시큐리티 랩의 전문가들이 레드팀 점검을 수행했다고 밝혔다. 12
이 조치들은 텐센트가 취했다고 설명한 안전 대책이다. 그러나 AI의 과학 역량이 커질수록 유익한 연구와 악용 가능한 활용을 어떻게 구분하고 관리할 것인지라는 야오의 더 큰 질문까지 해소해 주는 것은 아니다. 812
Studio Global AI
연구를 계속하세요
이 페이지에는 Studio Global 내에서 계속할 수 있는 소스 기반 답변이 포함되어 있습니다.
야오순위는 AI가 사이버 분야에서처럼 생물학 분야에서도 실제 피해를 일으킬 수 있는 역량에 가까워지고 있다고 경고했다.
11월 4일 공개된 Hy4는 시각 이해와 컴퓨터 사용 기능을 갖췄다. 텐센트는 모델 가중치와 시스템 카드가 추후 공개될 예정이라고 밝혔다.
텐센트는 Hy4가 생물학 실험 설계 평가에서 100점 만점에 30.4점을 받았으며, 사이버 보안 학습 자료를 방어 목적 중심으로 제한하고 보안 전문가의 레드팀 점검을 진행했다고 설명했다.
What did Tencent’s 29-year-old chief AI scientist Yao Shunyu, who joined Tencent last year after a year at OpenAI, warn at the November 7 scAn editorial illustration of AI and biological research.
AI 프롬프트
Create a landscape editorial hero image for this Studio Global article: What did Tencent’s 29-year-old chief AI scientist Yao Shunyu, who joined Tencent last year after a year at OpenAI, warn at the November 7 sc. Article summary: Yao’s central warning was that AI can already cause harm in cyberspace and is approaching a comparable threshold in biology, where separating offensive from defensive capabilities may be even harder. That is a warning ab. Topic tags: general, general web, government, academic, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, wate
openai.com
텐센트의 수석 AI 과학자 야오순위가 홍콩 과학 심포지엄에서 AI 모델의 생물학 역량이 머지않아 실제 피해를 일으킬 수 있는 수준에 도달할 수 있다고 경고했다. 사이버 보안 분야에서 이미 나타난 위험이 생물학 분야에서도 현실화할 수 있다는 취지다. 다만 이는 프런티어 AI 전반의 위험에 대한 경고이지, 텐센트가 최근 공개한 Hy4가 생물학 분야의 고위험 기준을 이미 넘었다는 뜻은 아니다. 28
야오순위가 경고한 생물학 분야의 위험
야오가 우려한 지점은 AI의 생물학 활용 능력이 실제 피해로 이어질 수 있는 수준에 가까워지고 있다는 것이다. 보도에 따르면 그는 생물학에서는 공격 목적의 활용과 방어 목적의 활용을 구분하기가 사이버 보안보다 더 어려울 수 있다는 문제도 짚었다. 18
이는 현재의 모든 AI 모델이 유해한 생물학 작업을 수행할 수 있다는 진단은 아니다. AI가 신약이나 치료법 연구를 앞당길 수 있다는 기대와 함께, 역량이 커질수록 악용 위험도 커질 수 있다는 전망에 가깝다. 8
Hy4의 생물학 평가 결과는 무엇을 말하나
텐센트는 11월 4일 Hy4를 공개했다. 총 7,700억 개의 매개변수를 갖춘 이 모델에는 시각 이해와 추론, 컴퓨터 사용 기능이 추가됐다. 명령줄이나 그래픽 인터페이스를 통해 작업을 수행할 수 있다는 설명이다. 45
텐센트는 모델 가중치와 추가 안전 정보를 담은 시스템 카드를 추후 공개할 계획이라고 밝혔다. 따라서 모델 서비스 공개와 가중치·시스템 카드 공개는 구분해서 볼 필요가 있다. 1912
생물학 분야에서 텐센트가 밝힌 Hy4의 점수는 개방형 생물학 실험 설계를 평가하는 Hy-BioExperimentBench에서 100점 만점에 30.4점이다. 회사는 이 결과가 자체 고위험 기준보다 낮다고 설명했다. 내부 평가에서는 기본적인 생물학 지식은 갖췄지만, 이를 실행 가능한 실험 절차로 구체화하는 능력은 제한적이라고 밝혔다. 413
이 결과는 야오의 경고와 모순되지 않는다. 경고는 프런티어 AI의 전반적인 역량 변화에 관한 것이고, 점수는 특정 모델인 Hy4에 대한 텐센트의 평가이기 때문이다. 또한 점수와 고위험 기준은 회사가 제시한 평가 결과이지, Hy4의 안전성을 독립적으로 보증하는 자료는 아니다. 813
텐센트가 밝힌 사이버 보안 조치
텐센트는 Hy4 학습 과정에서 사이버 보안 자료를 개념증명 코드 생성이나 취약점 수정 등 방어 목적의 내용으로 제한했다고 밝혔다. 익스플로잇 개발, 역공학, 침투 테스트 관련 자료는 걸러냈다는 설명이다. 또 자사 쉬안우 랩과 킨 시큐리티 랩의 전문가들이 레드팀 점검을 수행했다고 밝혔다. 12
이 조치들은 텐센트가 취했다고 설명한 안전 대책이다. 그러나 AI의 과학 역량이 커질수록 유익한 연구와 악용 가능한 활용을 어떻게 구분하고 관리할 것인지라는 야오의 더 큰 질문까지 해소해 주는 것은 아니다. 812
Studio Global AI
연구를 계속하세요
이 페이지에는 Studio Global 내에서 계속할 수 있는 소스 기반 답변이 포함되어 있습니다.