필자는 기고문 ‘AI 투자 우선순위: 단기 이익과 장기 비전의 균형’에서 실행 가능한 AI 투자 전략을 수립하는 데 있어 데이터 신뢰의 근본적인 역할을 언급한 바 있다. 핵심 원칙은 동일하다. 신뢰할 수 없는 데이터는 사용하지 못하는 데이터이며, 조직이 AI나 분석 도구를 통해 중요한 비즈니스 결정을 내리려 할 때 매우 큰 리스크가 될 수 있다.
대부분의 비즈니스 의사결정자들은 분석 정보를 바탕으로 결정을 내릴 가능성이 높다. 많은 기업에서 사용하는 분석 도구의 정교함 수준은 파워BI(Power BI), 태블로(Tableau), SAP 애널리틱스(SAP Analytics), IBM 코그노스(IBM Cognos)와 같은 고급 솔루션부터 도모(Domo), 클릭(Qlik), 그리고 모든 비즈니스 분석 사용자에게 익숙한 엑셀(Excel) 같은 중급 솔루션까지 다양하다. BI 플랫폼과 클라이언트는 모든 규모의 기업 고객들에게 어떤 형태로든 널리 활용되고 있다.
포춘 비즈니스 인사이츠(Fortune Business Insights)에 따르면 전 세계 직장인의 약 67%가 BI 도구에, 75%가 데이터 분석 소프트웨어에 접근할 수 있는 것으로 나타났다. 또한 드레스너 자문 서비스(Dresner Advisory Services) 연구에 따르면 조직의 84%가 BI를 비즈니스 운영에 ‘매우 중요’ 또는 ‘중요’하다고 여겼다. 그렇다면 의사 결정을 중요하게 여기는 조직이 결정을 내리기 위해 BI 데이터를 사용하는 이유는 무엇일까?
사실 중요한 결정을 내릴 때 (의도적이든 아니든) 신뢰할 수 없는 데이터를 사용하는 관행보다 더 우려되는 점이 있다. 대부분의 조직이 데이터를 사용하고 도구의 중요성도 인식하고 있지만, 많은 이들이 자신의 직관과 본능을 신뢰한다는 점이다. 왜일까? 결국 파워BI 대시보드보다 ‘직감’을 더 신뢰하는 것이다. 실제로 BARC(Business Application Research Center)의 연구에 따르면 응답자의 58%는 자사가 정기적인 비즈니스 결정의 절반 이상을 데이터와 정보가 아닌 직감이나 경험에 기반해 내린다고 밝혔다.
좀 더 깊이 들어가면 2가지 변수가 작용하고 있다고 할 수 있다.
- 인과관계 데이터 대 상관관계 데이터
- 비즈니스 성과와 관련된 데이터의 성숙도
지난 세기 통계 방법론의 기본적인 원칙 중 하나는 상관관계를 통해 인과관계를 파악하는 것이었다. 예를 들어, 물류 화면에서 배송 데이터의 공백을 창고에서 출고된 수량과 연관 짓는 분석 대시보드가 있을 수 있다. 하지만 이런 상관관계가 반드시 인과관계를 의미하지는 않는다. 2011년 튜링상 수상자 주디아 펄은 저서 “왜의 책(The Book of Why)”(2020)에서 “상관관계는 인과관계가 아니다. 당신은 데이터보다 더 똑똑하다. 데이터는 원인과 결과를 이해하지 못하지만, 사람은 이해할 수 있다”라고 말했다. 적극적인 데이터 거버넌스와 신뢰할 수 있는 맥락, 그리고 비즈니스를 정확히 반영하는 의미론적 모델을 통해 데이터를 비즈니스의 미묘한 측면과 연결할 수 있을 때까지는, 사람들이 계속해서 직감을 우선시할 가능성이 높다. IDC에 따르면 적극적인 거버넌스와 데이터 관리를 통해 데이터 성숙도를 높인 조직은 수익이 3배 이상 증가하고 시장 출시 시간이 단축되는 등 더 나은 비즈니스 성과를 얻을 수 있다.
기초로 돌아가기… 애널리틱스에서의 데이터 신뢰와 거버넌스
분석 도구가 광범위하게 도입되고 있지만, 이런 플랫폼의 영향력은 여전히 데이터 품질과 거버넌스에 달려있다. 맥킨지(McKinsey)에 따르면 체계적인 거버넌스 프레임워크를 갖춘 조직은 임시 방편만 가진 조직보다 분석 이니셔티브의 성공을 보고할 가능성이 2.5배 더 높은 것으로 나타났다. 이는 적절한 거버넌스가 데이터 품질 보증, 표준화된 정의, 명확한 소유권, 문서화된 계보 등 분석 성공을 위한 환경을 조성하기 때문이다.
거버넌스와 신뢰가 없을 때 조직이 점점 더 정교한 분석을 도입하는 경우 리스크는 더 커진다. 견고한 데이터 기반 없이는 고도로 발달된 머신러닝 모델조차도 단순히 분석만 제공할 뿐이다. 적절한 데이터 거버넌스는 운영 효율성과 리스크에 상당한 영향을 미친다. 가트너에 따르면 데이터 관리 관행과 거버넌스에 대한 엄격함이 부족하면 리스크가 증가하고 데이터 및 분석의 전략적 준비, 궁극적으로는 AI 준비 상태를 크게 저해할 수 있다.
애널리틱스 환경에서 머신러닝의 부상
필자는 소비재 분야의 아키텍트로서 머신러닝(ML)이 패턴 매칭을 통해 비즈니스 맥락의 뉘앙스를 포착하는 방식을 경험했다. 이를 통해 결국 제품 조직의 모든 직원들이 제품 데이터에 대한 하나의 진실 소스가 존재하지 않는다는 점을 깨달았다. 실제로 존재하는 것은 제품에 대한 팩트였고, 나머지는 이를 사용하는 비즈니스에 따라 맥락화된 보강 데이터였다.
ML은 비즈니스 애널리틱스의 판도를 바꿀 기술로, 조직이 방대하고 복잡한 데이터 세트에서 미묘한 인사이트를 추출하는 데 도움을 준다. 인공지능의 하위 집합인 머신러닝은 대규모 데이터 세트에서 훈련된 알고리즘을 사용해 별도의 프로그래밍 없이 트렌드를 인식하고 패턴을 식별한다. 이 기능은 조직이 많은 비정형 데이터를 데이터 웨어하우스에 통합함에 따라 점점 더 중요해지고 있다.
ML을 통해 분석이 가능해진 정량적 모델은 통계적, 수학적, 계산적 기법을 통해 비즈니스 문제를 분석한다. 비즈니스 분석가들은 수치 데이터를 수집하고 검토해 전략적 비즈니스 결정에 정보를 제공할 수 있는 트렌드, 패턴, 관계를 식별하면서 동시에 비즈니스 사용자의 미묘한 의미에 민감하게 반응한다. 이런 접근 방식은 비즈니스 리더에게 직관이 아닌 증거 기반의 토대를 제공함으로써 의사 결정에 영향을 미친다. 리서치게이트(ResearchGate)에 따르면 정량적 분석을 활용하는 리더는 더 신뢰도 높게 미래 트렌드를 예측하고, 운영을 최적화하며, 제품 제공을 개선하고, 고객 만족도를 높일 수 있다.
이 접근 방식의 기초를 제공하는 설명 분석은 기록을 분석해 과거 비즈니스 성과에 대한 인사이트를 제공한다. 이런 모델은 요약 통계와 시각화 기법을 통해 표시할 수 있는 데이터의 의미 있는 패턴을 발견하기 때문에 예측 분석 및 처방 분석과 같은 고급 분석의 출발점이 된다.
기업 애널리틱스 환경의 생성형 AI 도입
최근 생성형 AI는 애널리틱스 환경을 크게 변화시키고 있다. 생성형 AI 기술은 연구 워크플로우에서 수동으로 수행되던 프로세스를 자동화함으로써 인사이트를 얻는 시간을 단축시키고 있다. 예를 들어 기존 연구를 검토하고, 결과를 종합하며 가설을 생성하는 등 한때 긴 시간의 수작업이 필요했던 업무를 이제는 짧은 시간 내에 수행할 수 있다. 연구자들은 고부가가치 분석과 인사이트 생성에 더 많은 시간을 할애할 수 있게 됐다.
아마도 가장 중요한 점은 생성형 AI가 조직 계층 전반에 걸쳐 데이터 인사이트에 대한 접근을 민주화했다는 것이다. LLM이 지원하는 직관적인 인터페이스를 통해 비기술 직종 사용자들도 복잡한 데이터 세트에서 즉시 답변을 찾고 인사이트를 추출할 수 있다. 데이터와의 대화형 상호작용 시스템은 단순히 질문되는 내용뿐만 아니라 누가 질문하는지에 따라 맥락을 고려해 답변한다. 현대적인 BI 대시보드라면 더 이상 상관관계가 있는 데이터 세트만을 다루지 않을 가능성이 높다. 이들은 대화를 바탕으로 한 근거를 데이터 포인트와 결합해 발견 기반, 역할 기반, 맥락 기반의 답변을 제공할 수 있다. 이런 민주화는 조직 전체의 데이터 이해 수준을 크게 변화시키고 있으며, 전사적으로 데이터의 가치를 평가하는 방식을 바꾸고 있다.
이제 조직들은 초기 생성형 AI 실험을 넘어 비즈니스 영향력을 위해 AI를 대규모로 운영하는 단계로 나아가고 있다. 딜로이트(Deloitte) 연구에 따르면 검증된 영역에서 영향력이 높은 몇 가지 사용례에 집중하면 AI 구현의 투자수익률(ROI)을 크게 가속화할 수 있다. 이런 전략적 접근은 조직이 생성형 AI 모델과 기업 데이터 플랫폼이 점점 더 상품화되는 시장에서 어떻게 차별화할 것인지, 그리고 혁신을 제한하지 않으면서 AI 거버넌스를 어떻게 구현할 것인지와 같은 실제 문제를 해결하는 데도 유용하다.
오늘날 애널리틱스는 ‘AI와의 융합 및 기능 집중’
이제 BI 대시보드의 시대가 저물고 AI가 사용자 경험을 혁신하고 있다. AI는 단순한 쿼리와 응답, 의사 결정 지원을 넘어 검증된 정확성, 자동화된 프로세스 실행, 비즈니스 영향력을 갖춘 에이전트 기반 계획 및 실행 도구로 진화하고 있다. 기업들은 실험 단계를 벗어나 전문화된 도구와 지능형 시스템을 도입해 대규모 과제를 해결하는 단계에 진입하고 있다. AI와 애널리틱스의 융합은 이미 진행 중이다. 스노우플레이크와 데이터브릭스 같은 기업 데이터 플랫폼 업체들은 단순한 데이터 집계와 정제를 넘어서야 한다는 사실을 인식하고 있다. 이들은 시스템 간 상호작용과 참여를 지원하는 지능형 시스템으로 차별화를 모색하고 있다.
업계 자체도 이제 상품화된 일반 AI 솔루션에서 벗어나 의료, 제조, 금융, 통신과 같은 특정 산업의 과제를 해결하는 집중적이고 실용적인 애플리케이션으로 전환하고 있다. 특히 SAP, 세일즈포스(Salesforce), 마이크로소프트(Microsoft) 등의 AI 에이전트 솔루션은 데이터 인사이트를 넘어 데이터 실행으로 나아가고 있다.
데이터 및 분석 리더들은 AI 시대에 기업 분석의 역할을 새롭게 바라봐야 할 수 있다. 모든 비즈니스 이니셔티브는 조직 데이터에 접근하기를 원하게 될 가능성이 높다. 만약 데이터 전략이 다양한 데이터 저장소 정보에 접근하기 위한 유연하고 신뢰할 수 있는 관리 방식을 제공하지 않는다면 문제가 발생할 수 있다. 효과적인 거버넌스는 비즈니스 전반에 걸쳐 지능형 분석 도입을 명확히 촉진할 수 있다.
데이터 신뢰는 선택이 아닌 필수
기업용 애널리틱스가 AI 주도, 실시간, 민주화된 기능으로 발전함에 따라 강력한 데이터 신뢰와 거버넌스 기반을 확립한 조직은 변화를 경쟁 우위로 활용할 수 있는 유리한 위치에 있게 될 것이다. 기업의 분석 준비 수준에 데이터 신뢰가 끼치는 영향은 분명하다. 오라클(Oracle)과 세스 스티븐스-다비도위츠(Seth Stephens-Davidowitz)의 연구에 따르면 임원의 72%는 데이터를 신뢰할 수 있을 때 더 빠른 결정을 내린다고 보고했다. 데이터 및 분석 전략의 최전선에 신뢰와 거버넌스를 두는 조직은 더 빠른 인사이트, 더 고품질의 결정, 더 큰 민첩성, 분석 기능의 지속 가능한 확장 등 상당한 경쟁 우위를 가질 수 있다.
성숙한 거버넌스를 갖춘 조직과 그렇지 않은 조직 간의 격차는 명확한 경쟁 차별화 요소가 된다. 진보적인 기업은 이미 거버넌스를 우선순위로 삼고 있다. 전통적인 분석과 생성형 AI, 머신러닝의 융합이 탐색되는 지금, 데이터 신뢰를 우선시하는 조직이 진정으로 비즈니스 의사결정을 혁신하고 AI 시대에 경쟁 우위를 확보할 전망이다.
Dion Eusepi는 엔터프라이즈 데이터, AI-ML 플랫폼, 하이브리드 클라우드 환경 등 지능형 생태계 솔루션의 혁신에 집중하고 있는 기술 업계 베테랑이다. 이 기사는 IASA CAF(Chief Architect Forum)과의 파트너십으로 작성됐다.
[email protected]
Leave a Reply