스노우플레이크가 ‘생성형 AI의 혁신적 ROI(Radical ROI of Generative AI)’ 보고서를 발표했다. 이번 보고서는 글로벌 시장 조사 기관 ESG(Enterprise Strategy Group)와 공동으로 AI를 실제 사용 중인 9개국 1900명의 비즈니스 및 IT 리더를 대상으로 진행한 설문조사 결과를 담았다. 보고서에 따르면 AI를 도입한 기업의 92%가 이미 AI 투자를 통해 실질적 ROI(투자수익률)를 달성했고, 응답자의 98%는 올해 AI에 대한 투자를 더욱 늘릴 계획인 것으로 나타났다. 전 세계 기업의 AI 도입이 빨라지면서 데이터 기반이 성공적인 AI 구현의 핵심 요소로 떠오르고 있다. 그러나 많은 기업이 여전히 자사 데이터를 AI에 적합한 형태로 준비하는 데 어려움을 겪는 것으로 파악됐다.  전반적으로 기업들은 AI 초기 투자에서 성과를 거두고 있는 것으로 나타났다. 93%의 응답자는 자사의 AI 활용 전략이 ‘매우’ 또는 ‘대부분’ 성공적이라고 답했다. 특히 전체 응답자의 3분의 2는 생성형 AI 투자에 따른 ROI를 측정하고 있고, 1달러 투자당 평균 1.41달러의 수익을 올리며 ROI를 높이고 있는 것으로 집계됐다.  또한 국가별 AI 성숙도에 따라 기업이 AI 역량을 주력하는 분야가 달랐으며, 이는 지역별 ROI 성과와 밀접한 연관이 있는 것으로 드러났다. 미국은 AI 투자 ROI가 43%로 AI 운영 최적화 측면에서 가장 앞서 있었다. 뿐만 아니라 자사의 AI를 실제 비즈니스 목표 달성에 ‘매우 성공적’으로 활용하고 있다고 답한 비율이 52%로 전체 응답국 중 가장 높았다. 한국의 경우 AI 투자 ROI는 41%로 나타났다. 보고서에 따르면 한국 기업은 AI 성숙도가 높은 편으로 오픈소스 모델 활용, RAG(검색증강생성) 방식을 활용해 모델을 훈련 및 보강하는 비율이 각각 79%, 82%로 글로벌 평균인 65%, 71%를 웃돌았다.  특히 한국 기업들은 기술 및 데이터 활용에 있어 높은 실행 의지를 보이고 있는 것으로 나타났다. 오픈소스 모델 활용(79%), RAG 방식의 모델 훈련 및 보강(82%), 파인튜닝 모델 내재화(81%), 텍스트 투 SQL(Text to SQL, 자연어로 작성한 질문을 SQL 쿼리로 자동 변환하는 기술) 서비스 활용(74%) 등 고급 AI 기술을 활용한다고 답변한 비율이 글로벌 평균을 크게 웃돌았다. 이러한 데이터 활용 역량은 비정형 데이터 관리 전문성(35%)과 AI 최적화 데이터 보유 비율(20%)에서도 확인된다. 이런 성과에 비해 아직도 전략적 의사결정에 AI 활용하는 데에는 어려움을 겪고 있는 모습도 나타났다. 조사 결과에 따르면 응답자의 71%는 ‘제한된 자원에 대비해 추진할 수 있는 AI 활용 분야가 매우 다양하고, 잘못된 의사결정이 시장 경쟁력에 부정적 영향을 미칠 수 있다’고 답했다. 또한 응답자의 54%는 ‘비용, 사업 효과, 실행 가능성 등 객관적 기준에 따라 최적의 도입 분야를 결정하는 데 어려움을 겪고 있다’고 밝혔다. 59%는 ‘잘못된 선택이 개인의 직무 안정성까지 위협할 수 있다’고 우려했다. 한국 기업의 경우, 기술적 복잡성(39%), 활용 사례 부족(26%), 조직 내 협업 문제(31%) 등의 어려움을 겪고 있다고 답하며 아직 다양한 비즈니스 영역으로의 AI 확대는 더딘 것으로 나타났다. 그럼에도 향후 12개월 내 ‘다수의 대규모 언어 모델(LLM)을 적극적으로 도입’하고 ‘대규모 데이터를 활용할 계획’이라고 답한 기업은 각각 32%와 30%로, AI 도입 확대에 관한 강한 의지를 드러냈다. 설문에 응답한 전체 기업의 80%는 ‘자체 데이터를 활용한 모델 파인튜닝을 진행 중’이고 71%는 ‘효과적인 모델 학습을 위해 수 테라바이트의 대규모 데이터가 필요하다’고 답하며, AI의 효과를 극대화하기 위해 자사 데이터를 적극 활용하고 있는 것으로 나타났다. 그러나 여전히 많은 기업들이 데이터를 AI에 적합한 형태로 준비하는 과정에서 어려움을 겪기도 했다. 데이터 준비 과정에서 겪는 주요 과제로 ▲데이터 사일로 해소(64%) ▲데이터 거버넌스 적용(59%) ▲데이터 품질 관리(59%) ▲데이터 준비 작업 통합(58%) ▲스토리지 및 컴퓨팅 자원의 효율적 확장(54%) 등을 꼽았다. 스노우플레이크의 바리스 굴테킨(Baris Gultekin) AI 총괄은 “AI가 기업들에게 실질적인 가치를 보여주기 시작했다”면서, “평균 일주일에 4000개 이상의 고객이 스노우플레이크 플랫폼에서 AI 및 머신러닝을 활용하고 있고 이를 통해 조직 전반의 효율성과 생산성을 높이고 있다”고 강조했다.  스노우플레이크의 아르틴 아바네스(Artin Avanes) 코어 데이터 플랫폼 총괄은 “AI의 발전과 함께 조직 내 데이터 통합 관리의 필요성이 더욱 커지고 있다”면서, “스노우플레이크처럼 사용이 쉽고 상호 운용 가능하며 신뢰할 수 있는 단일 데이터 플랫폼은 단순히 빠른 ROI 달성을 돕는 것을 넘어, 사용자가 전문적인 기술 없이도 안전하고 규정을 준수하며 AI 애플리케이션을 쉽게 확장할 수 있도록 견고한 기반을 마련해 준다”고 말했다. 

가트너는 기업이 2027년까지 특정 작업에 맞춰 성능을 극대화한 소규모 언어 모델(SLM)을 도입하고, 전체 사용량이 범용 대규모 언어 모델(LLM) 사용량보다 최소 3배 이상 많을 것으로 전망했다. 가트너는 범용 LLM이 강력한 언어 처리 능력을 제공하지만, 특정 비즈니스 분야의 전문성이 요구되는 작업에서는 응답 정확도가 떨어진다고 분석했다. 가트너의 수밋 아가왈(Sumit Agarwal) VP 애널리스트는 “비즈니스 업무 흐름 내 다양한 작업과 더 높은 정확도에 대한 요구로 인해 특정 기능 또는 도메인 데이터에 맞춰 미세조정한 특화 모델로의 전환이 가속화되고 있다”면서, “SLM은 응답 속도가 빠르고 컴퓨팅 자원을 적게 소모해 운영 및 유지 관리 비용을 절감할 수 있다”고 설명했다. 기업은 검색 증강 생성(RAG) 또는 미세조정 기술을 활용해 LLM을 특정 작업에 특화된 모델로 커스터마이징할 수 있다. 이 과정에서 기업 데이터는 핵심적인 차별화 요소로 작용하며, 미세조정 요구사항을 충족하도록 관련 데이터를 구성하기 위해서는 데이터 준비, 품질 관리, 버전 관리, 전반적인 관리가 필수이다. 가트너는 기업이 자사의 고유 모델을 상용화함으로써 새로운 수익원을 창출하는 동시에 상호 연결된 생태계를 구축할 수 있다고 전했으며, 소규모 AI 모델 도입을 추진하는 기업을 위한 권장 사항을 제시했다. 가트너는 ▲비즈니스 맥락이 중요한 분야나 LLM 응답 품질, 속도가 기대에 미치지 못하는 영역에 컨텍스트 기반 SLM을 시범 도입하는 것이 효과적이며 ▲단일 모델만으로는 한계가 있는 사용 사례를 파악하고, 여러 모델과 워크플로 단계를 결합한 복합적 접근 방식을 도입하는 것이 효과적이라고 전했다. 또한 ▲언어 모델 미세조정에 필요한 데이터를 수집, 선별, 구조화하는 데이터 준비 역량에 우선순위를 두는 것이 효과적이라고 덧붙였다. ▲AI 이니셔티브를 추진하기 위해 AI 및 데이터 설계자, 데이터 과학자, AI 및 데이터 엔지니어, 리스크 및 규정 준수 팀, 구매 팀, 비즈니스 전문가 등 다양한 기술, 기능 인력의 역량 강화에 투자하는 것도 효과적이라는 설명도 추가했다. 아가왈 VP 애널리스트는 “기업은 자사의 고유한 데이터와 전문화된 업무 프로세스에서 도출된 인사이트의 가치를 점차 인식하게 되면서, 이를 수익화하고 고객과 경쟁사를 포함한 더 광범위한 대상과 공유하는 방향으로 나아갈 가능성이 높다”면서, “이는 데이터와 지식에 대한 보호 중심적 접근 방식에서 보다 개방적이고 협력적인 활용 방식으로의 전환을 의미한다”고 전했다.