CIO는 생성형 AI 프로젝트에서 의미 있는 성과를 내야 한다는 압박을 받고 있지만, 비용의 급등과 복잡한 거버넌스 문제로 인해 성과를 내는 데 어려움을 겪고 있다고 가트너는 밝혔다.
가트너는 AI가 비즈니스를 혁신할 수 있는 잠재력을 갖고 있음에도 불구하고, 많은 고위 기술 리더가 예측 불가능한 비용, 불균형한 생산성 향상, AI 도입 확대에 따른 위험 증가와 씨름하고 있다고 분석했다.
가트너의 수석 부사장 애널리스트인 메리 메사글리오는 “기술 벤더들 간의 끊임없는 혁신 경쟁으로 인해 CIO는 AI가 혁신적이라는 이야기를 많이 듣고 압박을 받지만, AI 도입에서 가치를 창출하는 일이 예상보다 복잡하고 어려워서 기대와 현실 사이의 괴리감을 느끼고 있다”라고 설명했다.
가트너가 2024년 중반 451명의 고위 기술 임원을 대상으로 실시한 설문조사에 따르면, 참여자 중 57%의 CIO가 AI 전략을 주도하는 임무를 맡고 있다고 응답했다. 그러나 AI의 잠재적 가치를 온전히 실현하는 것은 여전히 어려운 과제이며, 다음 4가지 요인이 이를 방해하고 있는 것으로 나타났다.
불균형한 생산성 향상으로 인한 장벽
CIO가 직면한 첫 번째 핵심 과제는 생성형 AI가 가져오는 생산성 향상이 조직 내에서 균일하게 나타나지 않는다는 점이다. 설문조사에 참여한 미국, 영국, 호주, 인도, 중국의 직원 중 일부는 워크플로에 생성형 AI를 통합하여 주당 평균 3.6시간을 절약했다고 답했다. 하지만 이러한 이점을 모든 직원이 동일하게 체감하지는 못했다.
가트너의 연구에 따르면 생산성 향상은 업무 복잡성, 직원 경험, AI 도구에 대한 개인 참여도와 같은 요인에 따라 크게 달라진다.
가트너의 수석 부사장 애널리스트이자 펠로우인 헝 레홍은 “AI 생산성의 진정한 과제는 바로 여기에 있다”라며 “생성형 AI의 생산성 향상 효과는 직원별로 차이를 보인다. 단지 개인의 관심이나 도입 수준의 차이 때문만이 아니라, 업무의 복잡성이나 경험 수준에 따라 달라진다”라고 설명했다.
가트너는 AI로 인한 생산성 향상을 포트폴리오처럼 관리해야 한다고 조언했다. 운영 개선과 더불어 비즈니스 모델을 재구성할 수 있는 혁신적인 프로젝트를 균형 있게 추진해야 한다는 것이다.
통제 불가능한 AI 비용
두 번째, 그리고 가장 시급한 문제는 AI 구현에 드는 비용의 증가이다. 가트너의 데이터에 따르면, 90%의 CIO들이 AI 성공의 주요 장애물로 통제 불가능한 비용을 꼽았다.
인도의 방송사 디시TV(DishTV)의 CIO 아비셰크 굽타는 “모든 기업은 AI 프로젝트를 포함한 새로운 이니셔티브를 시작하기 전에 투자 수익률(ROI)을 평가해야 한다”라며 “모든 AI 이니셔티브를 동일한 기준으로 평가하는 것이 필수적이다. AI의 구체적인 비즈니스 사용 사례를 파악한 후에는 철저한 비용 추정을 수행하고 예상되는 비즈니스 결과와 비교하여 조정 및 가치를 보장해야 한다”라고 설명했다.
가트너는 AI 비용 규모에 대한 정확한 이해가 없으면 기업이 AI 프로젝트를 시작할 때 예상했던 예산보다 실제로는 10배 더 많은 비용이 들 수 있다며, 이는 더 광범위한 기술 이니셔티브에 심각한 재정적 오류를 초래할 수 있다고 경고했다.
레홍은 “CIO라면 AI에 드는 비용을 철저히 이해해야 한다”라며 “AI 프로젝트에 드는 다양한 비용 항목과 이를 계산하는 방식(가격 모델)을 이해해야 하며, 이러한 비용을 줄이고, 공급업체와 협상하는 방법을 알아야 한다. CIO들은 비용이 어떻게 증가하는지, 소규모로 실제로 테스트하고 검증해봐야 한다”라고 조언했다.
거버넌스 및 데이터 관리 문제
AI 기술이 다양한 부서에서 사용됨에 따라 이를 통제하고 규제하는 거버넌스(기업 내 규정과 관리 체계)와 데이터 관리의 어려움이 증가하고 있다. 가트너의 조사 결과에 따르면, AI 솔루션의 35%만이 IT 부서 내부에서 구축되며, 대부분은 기존 기술 팀 외부에서 개발되는 것으로 나타났다. 이로 인해 데이터 프라이버시, 보안 및 일관성과 관련된 새로운 위험이 발생하여 CIO가 통제권을 유지하기가 더 어려워진다.
가트너는 이를 해결하기 위해 ‘기술 샌드위치’라는 계층적 접근 방식을 제안했다. 레홍은 “기술 샌드위치는 세 층으로 구성된다. 하단에는 중앙 IT 부서의 데이터와 AI가, 상단에는 각 부서에서 생성되는 분산형 데이터와 AI가 위치한다. 중간 층에는 신뢰, 리스크, 보안 관리(TRiSM) 기술을 배치해 전체 시스템의 안전성을 확보한다”고 설명했다.
메사글리오는 “CIO의 역할은 AI의 복잡성을 관리할 수 있는 기술 샌드위치를 설계하는 것이며, 동시에 새로운 기회를 수용할 수 있는 구조를 유지하는 것”이라고 강조했다.
AI에 대한 저항
마지막으로, CIO가 주목해야 할 점은 AI 도입이 조직 문화와 직원들에게 미치는 영향이다. AI로 인한 업무 프로세스와 역할 변화에 대해 직원들의 반응이 엇갈리고 있다. 일부는 적극 수용하는 반면, 어떤 직원은 거부감과 반발을 보인다. 이는 조직 내 긴장을 야기하여 생산성 저하로 이어질 수 있다.
가트너의 조사에 따르면 이러한 위험이 성과에 큰 영향을 미칠 수 있음에도 불구하고 CIO의 20%만이 AI가 직원 복지에 미치는 행동 위험을 적극적으로 해결하고 있는 것으로 나타났다.
굽타는 “많은 사람들이 챗GPT로 대표되는 AI가 업무 효율성을 높이거나 혁신을 가져다줄 수 있다는 것을 알게 되었고, AI의 혜택에 대한 기대가 커지고 있다”라며 “이러한 변화로 CIO의 AI 도입 전략 수립이 한결 수월해졌다. 비즈니스 현장에서는 AI 업무 도입을 적극 추진하고 있다. 다만 궁극적인 과제는 성과 향상과 투자 효과를 입증할 수 있는 최적의 활용 방안을 찾는 것이 되어야 한다”이라고 조언했다.
대규모 AI 도입은 조직에 새로운 도전 과제를 안긴다. CIO의 성공 여부는 기술 리더십은 물론, 비용 관리와 거버넌스, 그리고 디지털 전환에 따른 인적 요소 관리 능력에 좌우된다.
[email protected]