생성형 AI 프로젝트가 개념 검증 단계에서 실제 운영 단계로 전환됨에 따라 CIO는 기업의 안전과 자신의 책임을 다하기 위해 AI 거버넌스 정책 수립이라는 새로운 과제에 직면했다.
미국 정부와 유럽연합, 주요 시장 연구기관이 AI 거버넌스 프레임워크를 제시하고 있으나, 생성형 AI의 혁신 속도가 공식 표준의 제정 속도를 앞서고 있다. 그러다 보니 CIO는 2025년까지 내부 AI 거버넌스 정책을 수립하고 체계화해야 하며, 이를 위해서는 전체 경영진의 적극적인 협력이 반드시 필요하다는 분석이 나오고 있다.
거기다 AI 거버넌스에 대한 정책과 규제 수준이 국가에 따라 상당한 차이를 보이고 있다. IDC의 리서치 디렉터인 그레이스 트리니다드는 “2024년 2월 실시된 조사에 따르면, 미국 조직은 책임있는 AI 정책과 행동 강령 수립 부문에서는 유럽 조직과 동등한 수준을 보이고 있으나, EU AI 법이 권고하는 다분야 통합형 거버넌스 위원회 설립 측면에서는 미흡한 것으로 나타났다”라며 “CIO 혼자서 AI 거버넌스의 책임을 떠안지 말아야 한다”라고 조언했다.
예를 들어 IDC는 CIO가 내부에서 AI 거버넌스를 개발하는 데 도움이 될 수 있는 표준으로 미국 국립표준기술연구소(NIST)의 AI 위험 관리 프레임워크와 EU AI 법안의 조항을 추천하고 있다. 트리니다드는 ‘IDC PeerScape: Practices for Securing AI Models and Applications’라는 보고서에서 일부 AI 거버넌스 모범 사례를 소개하면서, 많은 CIO가 AI 거버넌스를 구현하는 방법이 다양하다는 점을 인정하고 있으며, 다만 AI 거버넌스가 아직 초기 단계에 있어, 모든 필요한 요소가 아직 완비되지 않은 상태라고 분석했다.
네트워크 솔루션 기업 시에나(Ciena)의 최고 디지털 정보 책임자인 크레이그 윌리엄스는 거버넌스 문제 해결을 위해 AI 워킹 그룹을 설립했다고 설명했다.
윌리엄스는 “AI 거버넌스는 너무 복잡하고 다양한 이해관계가 얽혀 있어, 하나의 기관이나 정부가 모든 AI 거버넌스를 완전히 관리하는 것은 현실적으로 어렵다”라며 “그럼에도 기업은 자체적인 거버넌스 프로세스를 수립해 끝까지 책임을 질 수 있도록 해야 한다”라고 설명했다. 또한 그는 “시에나는 AI 시스템의 투명성, 공정성, 책임의 필요성을 인식하고 있으며, 올바른 이해관계자를 거버넌스 과정에 참여시키기 위해 많은 노력을 기울이고 있다”라고 밝혔다.
전문가와 IT 리더는 성공적인 거버넌스 구축 과정에서는 관련 부서 간 협력이 필요하다고 강조했다. 윌리엄스는 “거버넌스가 단순히 규칙을 정하고 따르게 하는 것이 아니라, 모든 관련자가 최종 목표를 중요하게 여기고 그 목표를 이루기 위해 서로의 의견을 듣고 배우는 과정”라며 “그 과정을 넘어서면, 실제 프로젝트나 AI 도구로 신속하게 전환할 수 있다. 훨씬 더 쉽게 진행된다”라고 밝혔다.
금융 기관인 트루스톤 파이낸셜 크레딧 유니온(Trustone Financial Credit Union)은 AI 혁신이 급성장함에 따라 포괄적인 AI 거버넌스 프로그램을 마련하고 있다. 트루스톤의 부사장 겸 CTO인 게리 지터는 “매주 새로운 생성형 AI 플랫폼과 기능이 등장하고 있다. 이를 발견하면 통제 효과를 철저히 평가할 수 있을 때까지 접근을 차단한다”라고 “한 예로 구글의 노트북LM에 대한 접근을 초기에 차단하여 안전성을 평가하기로 결정했다”라고 밝혔다.
트루스톤도 정책 및 절차를 위한 생성형 AI 플랫폼을 전사적으로 구축했다. 해당 플랫폼 이름은 ‘트루어시스트(TruAssist)’다. 지터는 “약 560명의 모든 팀 구성원이 이 AI 도구를 사용하여 500개가 넘는 정책과 절차에 빠르게 접근함으로써 시간을 크게 절약하고 상당한 가치를 창출하고 있다”라며 “우리는 2023년 11월에 파일럿을 시작했고 2024년 2월까지 모든 팀 구성원에게 배포했다. 매우 빠르게 진행되었고 많은 것을 배웠다. 고객에게 직접 영향을 줄 수 있는 AI 기술 적용에는 조심스럽게 접근하고 있지만, 내부적으로는 점차 개선되고 진전이 이루어지고 있다”라고 설명했다.
AI 거버넌스 프레임워크와 플랫폼
보험 기업 트래블러스(Travelers)의 부사장 겸 최고 기술 및 운영 책임자인 모간 르페브르는 트래블러스가 AI 거버넌스 전략을 꾸준히 발전시켜 온 대기업 중 하나라고 설명했다.
르페브르는 “트래블러스 거버넌스 프레임워크가 지속적으로 발전하고 성숙해짐에 따라 AI, 고급 분석, 모델링의 개발 및 사용을 지도하는 기본 원칙을 담은 책임 있는 인공지능 프레임워크도 수립했다”라며 “이 프레임워크의 목표는 우리가 책임감 있고 윤리적으로 행동하도록 하는 데 있으며, 이는 회사의 비즈니스와 문화 중심에 있는 책임감 있는 경영 가치와 일치한다”라고 설명했다.
전문가는 AI 기술을 도입할 때 발생할 수 있는 보안 리스크를 방지할 뿐만 아니라, AI 운영 비용이 과도하게 증가하지 않도록 관리하는 것도 AI 거버넌스의 중요한 역할이라고 설명했다.
컨설팅 기업 GAI 인사이트(GAI Insights)의 CEO 겸 수석 애널리스트인 폴 바이어는 “경영진과 IT 부서가 아직 생성형AI 애플리케이션의 위험 관리를 학습 중이며, 사용이 늘어남에 따라 실제 비용도 증가하고 있다”라며 “생성형AI 애플리케이션의 운영 단계로의 전환을 매우 신중하고 느리게 진행해야 한다”라고 조언했다.
또한, 생성형AI의 위험과 비용을 증가시키는 또 다른 요인으로 베이어는 ‘대규모 섀도 IT’를 언급했다. 직원들이 개인 계정을 사용해 챗GPT와 같은 도구에 회사 데이터를 이용하는 상황이 이에 해당한다.
조직이 AI 사용을 효과적으로 관리하는 방법 중 하나로 AI 거버넌스 플랫폼을 도입하는 것을 제안했다. 가트너는 이 기술을 2025년의 두 번째 전략적 트렌드로 선정하며, 2028년까지 AI 거버넌스 플랫폼을 도입한 조직은 그렇지 않은 조직에 비해 AI 관련 윤리적 사고 발생이 40% 줄어들 것이라고 전망했다.
가트너에 따르면, AI 거버넌스 플랫폼의 장점은 책임 있는 AI 사용을 보장하고, AI 시스템이 어떻게 작동하는지 설명하며, 모델 생애 주기를 관리하고, 투명성을 제공해 신뢰와 책임성을 구축하는 정책을 수립하고 시행하는 데 있다.
하지만 이러한 시스템의 과제도 있다. 가트너는 “AI 지침은 지역과 산업마다 차이가 있어 일관된 관행을 정립하기가 어렵다”고 지적했다.
앞으로의 과제
CIO들은 앞으로 다가올 변화에 적응할 수 있는 AI 거버넌스 프레임워크를 마련해야 할 것이다. 특히, 인공지능 능력이 더욱 발전할 경우 이를 반영할 수 있는 체계가 필요하다고 전문가들은 지적하고 있다.
뱁티스트 메모리얼 헬스케어(Baptist Memorial Healthcare)의 CIDO인 톰 바넷은 “우리 기업은 지금 당장의 요구에 가장 적합한 AI 사용 정책을 평가하고 있으며, 미래에 우리가 아직 모르는 것을 배우며 발전할 수 있는 유연한 모델을 찾고 있다”라고 설명했다.
AI가 지난 2년간 급격히 발전해온 것을 감안할 때, 앞으로의 방향은 예측하기 어렵다. 이 문제를 더욱 복잡하게 만드는 것은 단순히 새롭게 나타나는 AI 규제의 복잡성뿐만 아니라, 비즈니스 모델과 시장 자체의 변화이다.
가령 오픈AI만 해도, 생성형AI가 잘못 사용될 경우를 방지하기 위해 공익적인 목적을 가진 비영리 형태로 기업을 설립했지만, 현재 두 명을 제외한 모든 설립자가 회사를 떠난 상태다. 오픈AI는 핵심 사업을 비영리 이사회의 통제를 받지 않는 영리 기업으로 재편하려 노력하고 있다.
가트너의 클라우드, 엣지 및 AI 인프라 기술 서비스 부문 부사장인 시드 낙은 NIST의 AI 안전 연구소 컨소시엄과 책임 있는 AI 센터가 2021년 이후 AI 거버넌스에 진전을 이루었지만, 여전히 CIO가 실험 단계를 넘어서 생성형AI 플랫폼과 도구에 대한 큰 투자를 수익화해야 하는 압박을 받는 상황에서 그들을 안내할 승인된 규제 표준이 없다고 언급했다.
내그는 “”모든 위험 요소를 포괄하는 단일 문서도 없고, 생성형AI 사용을 규제할 명확한 권한도 없다”며, 생성형AI가 하루가 다르게 발전하고 있다”라며 “AI는 멈추지 않는 기차처럼 앞으로 나아가고 있으며, 모두가 이를 통해 수익을 얻으려 하고 있다”라고 설명했다.
그럼에도 CIO나 최고 경영진은 AI 거버넌스의 중요성을 잘 인식하고 있는 것으로 보인다. 대기업과 중소기업 모두 생성형 AI의 잘못된 사용이 재앙을 초래할 수 있다는 점을 잘 이해하고 있는 셈이다.
의료 장비 임대 회사인 US 메드-이큅(US Med-Equip)의 CIO 안토니오 마린은 AI로 인해 회사가 빠르게 성장하고 있지만 거버넌스 문제에 있어서는 모든 역량을 동원하고 있다고 설명했다.
마린은 “우리는 데이터 및 사이버 보안 거버넌스의 일부로 AI 거버넌스를 통합하고 있다”라며 “개념 증명 단계의 프로젝트가 실제 운영으로 옮겨질 때 위험이 증가한다”라고 설명했다. 또한 그는 “우리 임원진은 AI를 일부 프로세스 문제의 해결책으로 보고 있으며, AI를 통해 시장 점유율을 확대하거나 운영 비용을 절감할 기회로 여기고 있다. 이 과정에서 높은 고객 경험 품질과 운영의 우수성을 유지하려 한다”라고 설명했다.
트루스톤의 지터는 조만간 AI에 대한 감독이 법적 및 규제 요건이 될 것으로 전망했다. 지터는 “감독 기관이나 감사인들이 회사의 목표와 원칙을 이해하고 이를 함께 실현해가는 동반자라고 여기기 때문에, AI 거버넌스나 규제 측면에서 부담을 느끼지 않고 있다”라고 밝혔다.
[email protected]