기업 AI의 질문은 이제 ‘직원들이 쓸까’에만 머물지 않는다. 쓴 만큼 업무가 나아졌는지, 그 효과가 전체 비용을 웃도는지가 핵심이다. 2026년 조사에서 두드러지는 것은 AI의 가치가 없다는 증거가 아니라, 비용과 성과를 연결해 확인할 체계의 부족이다.
23
25
34
지출은 늘지만, 어디에 얼마를 쓰는지도 불분명하다
플렉세라에 따르면 AI 소프트웨어 지출을 정확히 파악한다고 답한 조직은 **31%**였다. 지난 1년간 낭비되는 AI 지출이 늘었다는 응답은 59%였다.
34 배터리벤처스가 고위 기술 책임자 100명을 대상으로 실시한 조사에서는 94%가 조직 전체에 적용할 일관된 AI 투자수익률(ROI) 평가 체계가 없다고 답했다. AI 프로젝트의 절반 넘게 긍정적인 ROI를 낸다고 답한 비율은 16%에 그쳤다.
23
예산을 기준으로 봐도 부담이 드러난다. 퓨처럼의 2026년 하반기 조사에서는 AI 지출이 계획을 초과했다는 응답이 46.9%, 계획보다 적었다는 응답이 5.6%였다.
33 다만 이 조사들은 대상과 질문이 다르다. 지출 파악 수준, 낭비에 대한 인식, 프로젝트별 수익, 예산 초과 비율을 합쳐 ‘AI 실패율’처럼 읽어서는 안 된다.
사용량과 수익 사이에는 업무 변화가 필요하다
라이선스 수나 사용자 수, 시범사업 완료 건수는 도입 상황을 보여줄 뿐 재무적 성과를 증명하지는 못한다. 이를 확인하려면 바꾸려는 업무의 기존 성과를 먼저 기록하고, 처리 시간이나 결과물의 품질처럼 개선할 지표를 정한 뒤, 운영에 드는 전체 비용과 비교해야 한다.
KPMG는 대시보드와 승인 절차를 마련한 조직이 많아도 AI 운영비를 실시간으로 처음부터 끝까지 파악하지 못하는 경우가 대부분이라고 분석했다.
19 별도의 글로벌 조사에서는 운영비를 완전히 파악하는 조직이 확립된 ROI를 보고한 비율이 그렇지 않은 조직보다 높았다. **15% 대 3%**다. 이는 두 지표의 연관성을 보여주지만, 비용을 잘 파악하는 것만으로 수익이 생긴다는 인과관계의 증거는 아니다.
25
측정 체계만 만들고 업무 방식은 그대로 두어도 한계가 있다. 뱅크오브아메리카의 기술 책임자는 AI 프로젝트를 규모 있게 운영하기 위한 과제로 업무 절차의 전면적 전환, 성과의 재사용과 확장, 거버넌스, ROI를 꼽았다.
14 한편 CIO가 전한 조사에서는 조직의 61%가 지난 2년간 IT 현대화 사업을 중단·지연·축소하거나 포기한 적이 있었다. AI로의 예산 이동이 거론된 압박 요인 중 하나였지만, 모든 지연의 원인이 AI 지출이었다는 뜻은 아니다.
18
여러 단계를 수행하는 ‘에이전트형 AI’는 사업이 커질수록 비용, 사업 가치, 위험 통제를 더 분명히 해야 한다. 가트너는 2025년에 비용 증가, 불명확한 가치, 미흡한 위험 통제 등을 이유로 에이전트형 AI 프로젝트의 40% 이상이 2027년 말까지 취소될 것으로 전망했다. 이는 2026년에 관측된 취소율이 아니다.
51
뱅크오브아메리카가 보여준 성과와 남은 질문
뱅크오브아메리카는 약 20만 명의 직원에게 AI 도구를 제공하고 있으며, 개발자 약 1만 9,0002만 명의 코딩 생산성이 **1520%** 높아졌다고 밝혔다.
3
4 이는 단순한 이용자 수보다 구체적인 업무 성과다. 은행 경영진은 AI 관련 편익을 약 8억 달러, 비용을 약 4억 달러로 추산하기도 했다. 그러나 이는 경영진의 추정치이지, 개별 활용 사례마다 수익성이 독립적으로 검증됐다는 뜻은 아니다.
2 이 은행의 공동사장 역시 현재 가장 뚜렷하게 측정되는 성과는 코딩 같은 기술 업무에서 나온다고 설명했다.
1
기업이 취할 수 있는 실질적인 접근은 AI 도입 건마다 책임자를 정하고, 도입 전후의 업무 지표·전체 비용·품질과 위험 지표를 함께 확인하는 것이다. 사용이 늘었다는 이유만으로 확대하기보다, 비용을 반영한 뒤에도 개선 효과가 유지되는지 살펴야 한다. 그래야 실제 AI의 이익을 놓치지 않으면서도 활발한 사용을 투자수익으로 혼동하지 않을 수 있다.
19
23
25