답변게시됨23 소스
TimeH2O-v1, fev-bench서 91.9% 기록…‘1위’는 평가 기준에 따라 달라
H2O.ai는 1억 880만 개 매개변수의 TimeH2O v1이 fev bench 100개 과제에서 승률 91.9%, 스킬 점수 50.8을 기록했다고 밝혔다.[1][6] 다른 리더보드에서는 승률 86.14%, MASE 스킬 점수 기준 3위로 집계됐다. 지표와 리더보드 설정을 확인해야 ‘1위’의 의미를 정확히 이해할 수 있다.[13][19] GIFT Eval 제로샷 모델 가운데 집계 MASE 0.654, CRPS 0.441을 기록했다고 H2O.ai는 발표했다.
게시자GPT-6 Luna로 편집GPT Image 2로 이미지 생성
연구 답변
주요 시사점
- H2O.ai는 1억 880만 개 매개변수의 TimeH2O v1이 fev bench 100개 과제에서 승률 91.9%, 스킬 점수 50.8을 기록했다고 밝혔다.[1][6]
- 다른 리더보드에서는 승률 86.14%, MASE 스킬 점수 기준 3위로 집계됐다. 지표와 리더보드 설정을 확인해야 ‘1위’의 의미를 정확히 이해할 수 있다.[13][19]
- GIFT Eval 제로샷 모델 가운데 집계 MASE 0.654, CRPS 0.441을 기록했다고 H2O.ai는 발표했다. 가중치는 공개돼 있지만 비상업적 라이선스가 적용된다.[6][14]
AI 프롬프트
openai.comCreate a landscape editorial hero image for this Studio Global article: What is H2O.ai’s 108-million-parameter TimeH2O-v1 time-series foundation model, released on October 26, and how do its zero-shot forecasting. Article summary: TimeH2O-v1 is H2O.ai’s compact, open-weights time-series foundation model, released on October 26, 2026, for zero-shot forecasting without a separate training run or model for every series.[9][10] H2O.ai reports first pl. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
H2O.ai가 2026년 10월 26일 시계열 예측 기반 모델 TimeH2O-v1을 공개했다. 회사가 내세운 성적은 fev-bench 100개 과제에서 승률 91.9%, 스킬 점수 50.8. 눈에 띄는 수치지만, 이를 모든 모델과 평가 방식에서 통하는 단일 ‘종합 1위’로 받아들이기는 어렵다. 리더보드 설정과 지표에 따라 순위가 달라지기 때문이다.1
6
7
TimeH2O-v1은 어떤 모델인가
TimeH2O-v1은 매개변수 1억 880만 개 규모의 시계열 기반 모델이다. 제로샷 예측은 개별 시계열마다 별도의 모델을 학습하지 않고, 사전 학습된 모델을 이용해 예측하는 방식을 뜻한다.1
6
fev-bench는 계절적 단순 예측(seasonal-naive)을 기준선으로 삼아 확률적 예측 성능을 평가한다. H2O.ai가 공개한 기본 리더보드에서는 TimeH2O-v1이 32개 모델 중 승률 기준 1위다. 비교 모델로는 Timestral-209M이 89.6%, t0-gamma가 88.1%, TimesFM-3가 82.7%, Chronos-2가 76.8%로 표시돼 있다.1
13
‘1위’라고 할 때 확인해야 할 것
우선 모델 포함 범위가 다르다. H2O.ai의 리더보드에서 비공개 API 모델까지 포함하면 TimeH2O-v1은 36개 중 2위로 내려간다. 회사는 기본 순위를 설명하면서 비상업적 모델도 포함했다고 밝히고 있다. 따라서 ‘32개 중 1위’는 해당 리더보드 설정을 가리킨다.6
13
평가 지표도 중요하다. TSFM.ai의 fev-bench 목록은 TimeH2O-v1의 승률을 86.14%, MASE 스킬 점수를 39.95로 제시하며, MASE 스킬 점수 기준 순위는 3위다. 같은 목록에서 TimeRSI-1.5와 TimeRSI가 각각 앞선다.19 H2O.ai가 제시한 승률 91.9%·스킬 점수 50.8과 이 수치는 서로 다른 리더보드 표기의 결과이므로, 하나의 값처럼 섞어 비교해서는 안 된다. 핵심은 순위를 볼 때 점수뿐 아니라 지표와 리더보드 버전도 함께 확인하는 것이다.
GIFT-Eval에서도 긍정적인 결과
H2O.ai는 TimeH2O-v1이 GIFT-Eval에서 제로샷 모델 가운데 가장 낮은 집계 MASE와 CRPS를 기록했다고 밝혔다. 점수는 각각 0.654와 0.441이다.6 별도의 GIFT-Eval 목록에는 반올림한 값인 0.65와 0.44가 실려 있고, Timestral-209M은 각각 0.66과 0.45로 표시돼 있다.
24
다만 GIFT-Eval은 fev-bench와 다른 평가다. 따라서 이 결과를 fev-bench 순위의 재확인이나 대체 지표로 해석해서는 안 된다.
공변량 지원과 고객 데이터 학습은 별개의 문제
fev-bench에는 공변량이 포함된 과제도 있다. 공변량은 목표값의 움직임과 함께 고려할 수 있는 추가 변수로, 가격·프로모션·날씨 같은 요소가 이에 해당할 수 있다. 다만 공개된 fev 래퍼 설명에 따르면 TimeH2O-v1 체크포인트는 각 목표 시계열을 독립적으로 예측하고 공변량을 무시하도록 구현돼 있다. 과제는 단변량 시계열로 변환해 처리한다.19
22 이는 해당 벤치마크 구현에 대한 설명이며, 제품이나 다른 배포 환경의 모든 기능을 단정하는 근거는 아니다.
고객 데이터로 모델을 미세조정하는 구체적인 절차나 필요한 인프라, 기업별 모델을 만드는 검증된 작업 흐름은 제공된 자료에서 확인되지 않는다. 실제 도입을 검토한다면 이 기능과 지원 범위를 H2O.ai에 별도로 확인할 필요가 있다.
학습 데이터와 벤치마크 중복 방지
모델 카드에 따르면 fev-bench, GIFT-Eval, TIME과 겹치는 데이터셋은 학습에서 제외됐다.4
8 공개된 학습 데이터 예시에는 AutoGluon의 Chronos 데이터셋, Salesforce의 GiftEvalPretrain·lotsa_data, Quito 코퍼스 등이 포함된다. 데이터셋별 라이선스는 서로 다르며, 공개된 목록이 전체 학습 데이터 목록이라고 단정할 수는 없다.
8
공개 가중치라도 상업적 사용은 확인해야
모델 가중치는 H2O.ai의 Hugging Face 저장소에서 제공되며, 파일을 받으려면 접근 조건에 동의해야 한다.10 저장소에는 H2O Model Non-Commercial Licence v1.0이 적용된다. H2O.ai 제품 안내도 운영 환경에서 사용하려면 회사의 라이선스가 필요하다고 명시한다. 따라서 ‘가중치 공개’를 제한 없는 상업적 배포 허가로 이해해서는 안 된다.
5
14
H2O.ai는 매개변수 583만 개의 TimeH2O-v1-tiny도 같은 이름의 비상업적 라이선스로 제공한다.12
14 공개 자료만으로는 이 작은 모델이 TimeH2O-v1과 같은 예측 성능을 내는지 확인할 수 없다.
요약
TimeH2O-v1은 H2O.ai가 제시한 fev-bench 결과와 GIFT-Eval 성적으로 주목을 받는 제로샷 예측 모델이다.1
6 그러나 리더보드에 포함된 모델과 평가 지표에 따라 점수와 순위가 달라질 수 있고, 공개 가중치에는 비상업적 라이선스가 적용된다. 성능을 비교하거나 실제 업무에 도입할 때는 벤치마크 이름, 지표, 평가 설정, 이용 조건을 함께 살펴봐야 한다.
13
14
19
Studio Global AI
연구를 계속하세요
이 페이지에는 Studio Global 내에서 계속할 수 있는 소스 기반 답변이 포함되어 있습니다.
사람들은 또한 묻습니다.
"TimeH2O-v1, fev-bench서 91.9% 기록…‘1위’는 평가 기준에 따라 달라"에 대한 짧은 대답은 무엇입니까?
H2O.ai는 1억 880만 개 매개변수의 TimeH2O v1이 fev bench 100개 과제에서 승률 91.9%, 스킬 점수 50.8을 기록했다고 밝혔다.[1][6]
먼저 검증할 핵심 포인트는 무엇인가요?
H2O.ai는 1억 880만 개 매개변수의 TimeH2O v1이 fev bench 100개 과제에서 승률 91.9%, 스킬 점수 50.8을 기록했다고 밝혔다.[1][6] 다른 리더보드에서는 승률 86.14%, MASE 스킬 점수 기준 3위로 집계됐다. 지표와 리더보드 설정을 확인해야 ‘1위’의 의미를 정확히 이해할 수 있다.[13][19]
실무에서는 다음으로 무엇을 해야 합니까?
GIFT Eval 제로샷 모델 가운데 집계 MASE 0.654, CRPS 0.441을 기록했다고 H2O.ai는 발표했다. 가중치는 공개돼 있지만 비상업적 라이선스가 적용된다.[6][14]