알고리즘 트레이딩 시장 전반도 빠르게 확장 중입니다. 여러 리서치 회사들은 2026년 글로벌 알고리즘 트레이딩 시장 규모를 약 200억280억 달러로 추정하지만, 시장 정의에 따라 차이가 있습니다 . TradeAlgo의 연례 보고서는 이 시장이 2026년에 328억 달러를 넘어설 것으로 전망하며, 연평균 성장률(CAGR) 1315%를 예상합니다 . 다른 추정치로는 Mordor Intelligence의 202억 3천만 달러 부터 Research and Markets의 271억 7천만 달러 까지 다양합니다. 2025년 기준으로 AI 기반 시스템은 글로벌 거래량의 약 89% 를 처리하는 것으로 나타났으며, 더 넓은 시장은 2030년까지 350억 달러에 이를 것으로 전망됩니다 .
이러한 과대광고에도 불구하고, 주요 AI 모델들의 실제 트레이딩 성과는 기대에 미치지 못했습니다. 블룸버그는 OpenAI, Anthropic(앤트로픽), Google(구글), xAI의 최첨단 AI 모델들에게 각각 1만 달러를 주고 2주 동안 미국 기술주를 거래하게 하는 AI 트레이딩 대회를 32차례 진행했습니다 . 결과는 참혹했습니다. 전체 포트폴리오는 투자 자본의 약 3분의 1을 잃었습니다 . 32번의 모든 결과를 통틀어 AI 모델이 수익을 낸 경우는 단 6번에 불과했습니다 .
시스템들은 너무 잦은 거래를 했고, 동일한 지시에도 전혀 다른 결정을 내렸으며, 일관되게 플러스 수익률을 내는 데 실패했습니다 . 가장 좋은 성과를 낸 모델은 xAI의 Grok 4.20으로, 경쟁 모델의 성과를 인지했을 때 가장 좋은 결과를 보여주며 158건의 거래만 실행했습니다. 반면, 같은 프롬프트에서 알리바바의 Qwen(큐원)은 1,418건을 거래했습니다 . 하지만 전반적으로 결론은 냉혹합니다. 대부분의 AI 트레이딩 봇은 돈을 잃는다는 것입니다 .
무리 쏠림 현상과 시스템적 위험: 유럽 시스템 위험 위원회(ESRB)는 2025년 12월 보고서에서 AI가 공동 노출, 상호 연결성, 그리고 AI가 생성한 잘못된 정보로 인한 광범위한 시장 가격 왜곡을 통해 시스템적 금융 위험을 초래할 수 있다고 경고했습니다 . 미국 연방준비제도(Fed)의 실험 결과, AI 에이전트는 단독으로는 인간보다 더 '합리적인' 결정을 내리지만, AI 기반 투자 조언에 대한 의존도가 높아지면 여전히 무리 쏠림 현상을 증폭시킬 수 있는 것으로 나타났습니다 . 학계 연구에 따르면 트레이딩 알고리즘이 과거 거래 이력에서 학습함에 따라 인간 투자자의 행동 편향을 모방하고 때로는 증폭시키기 시작하여 '알고리즘 무리 쏠림(Algorithmic Herding)' 현상이 발생한다는 사실이 확인되었습니다 .
결함 있고 책임 소재가 불분명한 AI 추천: 2026년 6월, 미국 하원의원들이 증권 중개 플랫폼에 보낸 서한에 따르면, AI 에이전틱 트레이딩 도구를 제공하는 업체들은 AI 출력물의 정확성, 완전성, 적합성을 명시적으로 부인하고 있으며, 에이전틱 트레이딩은 '상당한 위험'을 수반하며 이들 에이전트에 대한 통제, 감독, 감사가 전혀 이루어지지 않는다고 경고하고 있습니다 . 서한은 중개사들이 "에이전트 출력의 정확성, 완전성 또는 적합성을 보장하지 않으며, 이러한 에이전트를 통제, 감독, 모니터링, 추천 또는 감사하지 않는다"고 명시하고 있습니다 .
규제 경고: 유럽 증권 시장 당국(ESMA)은 2025년 3월 투자 목적의 AI 사용에 대해 공식 경고를 발령하며, 개인 투자자들에게 AI 도구의 한계를 이해하지 못한 채 의존하는 위험에 대해 조언했습니다 . 미국 상원의 헤지펀드 AI 사용에 관한 보고서는 고객에 대한 불충분한 공시와 시장 안정성에 대한 잠재적 위험 증가에 대한 우려를 제기했습니다 .
AI 지원 결정의 행동 편향: 2026년 7월 연구에 따르면, AI 도구를 사용하는 젊은 개인 투자자들은 무리 심리, 과신, 확증 편향을 보이는 경향이 있으며, AI에 대한 신뢰도가 높을수록 투자 규율은 낮아지는 것으로 나타났습니다 . 또 다른 연구는 AI 기반 포트폴리오가 낮은 분산 투자도를 보이고 변동성이 큰 시기에 무리 쏠림 행동이 증가한다는 사실을 발견했습니다 .
이러한 우려는 단순한 가정에 그치지 않습니다. 2026년 7월 말, 고(高) 프로파일 AI 기반 헤지펀드인 '시추에이셔널 어웨어니스(Situational Awareness)'가 심각한 폭락 사태를 겪었고, 포지션을 정리하기 위해 24시간 동안 긴급 작업이 필요했다고 블룸버그가 보도했습니다 . 월스트리트저널(WSJ)은 동시에 발생한 '봇이 폭주한 날'이라는 사건을 기록했으며 , 블룸버그는 AI 헤지펀드의 붕괴가 기술 기업 실적 발표 혼란 속에서 발생했다고 전했습니다 . 이 사건들은 결함 있는 AI 추천과 무리 쏠림 행동이 실제로 대규모 손실로 이어질 수 있음을 극명하게 보여줍니다.
AI 기반 퀀트 트레이딩 도구의 대중화는 실제로 가속화되고 있습니다. 개인 투자자들은 이제 불과 5년 전만 해도 헤지펀드가 수백만 달러를 들여 구축해야 했던 기능에 접근할 수 있게 되었습니다 . 그러나 지금까지의 증거에 따르면, 대부분의 AI 트레이딩 시스템(최고 수준의 연구소에서 만든 최첨단 모델조차도)은 실제 시장에 투입되면 지속적으로 돈을 잃는 것으로 나타났습니다. 한편, 미국과 유럽 전역의 규제 당국은 시스템적 위험, 결함 있는 추천, 그리고 에이전틱 트레이딩 도구의 책임 소재 부재에 대해 공식적으로 경고를 발령했습니다. 이 기술이 언젠가는 약속한 바를 실현할 수도 있겠지만, 적어도 현재로서는 과대광고와 실제 결과 사이의 간극이 너무나 큽니다.