앞서 나가는 기업은 AX에 대한 결정을 이사회 차원에서 명확히 내리고 자원 배분도 그에 맞춘다. 반면 고전하는 기업은 AI를 여전히 IT 과제로 취급한 채 경쟁사가 앞서가는 모습을 지켜본다. 관망은 신중한 전략처럼 보이지만, 실제로는 그렇지 않은 경우가 대부분이다. AI는 클라우드처럼 채택이 늦어도 나중에 보상받는 기술이 아니다. 선두와 후발 기업 사이의 구조적 격차는 투자를 늘린다고 쉽게 좁혀지지 않는다.

지난 20년간 기업 IT와 소프트웨어 엔지니어링을 외주로 넘기고 거의 모든 업무를 SaaS(Software as a Service·서비스형 소프트웨어) 공급사에 맡긴 결과, 다수 기업은 사람 개입 없이 스스로 판단하고 실행하는 AI 에이전트(이하 자율형 AI)를 직접 만들고 운용할 내부 역량을 잃었다. 모델과 플랫폼은 살 수 있지만, 독점 데이터와 업무 흐름·자율형 AI를 자사만의 방식으로 엮는 역량은 살 수 없다. 조직 내부에서 직접 구축해야 하며, 엔지니어링 인재와 개발 문화가 필요하다. 많은 대기업이 그동안 방치해 온 바로 그 역량이다.

경영 전략과 실무 방향이 일치해야

AI 관련 활동을 AX를 향한 경영진의 결단으로 혼동하는 것도 위험하다. 진행 중인 파일럿 수나 새 AI 워킹 그룹, SaaS 도구에 붙인 AI 기능을 ‘앞으로 나아가고 있다’는 증거로 내세우는 CEO가 많지만, 이 중 어느 것도 전략적 무기가 되지 못한다. 전략적 무기는 AI가 사업 경제성을 바꿀 지점을 명확히 고르고, 성과가 입증되기 전부터 여러 해에 걸친 투자를 약속하며, 조직 구조, 인재 전략, 거버넌스를 그 선택에 맞춰 재설계할 때 얻어진다.

가장 흔한 실패는 CEO가 대담하게 AX를 선언하고도 실제 투자·거버넌스·평가는 비전의 크기와 맞지 않게 작동하는 경우다. AI 선도 기업을 자처하면서 당해 연도 투자대비수익률(ROI)을 요구하고, 의사 결정마다 몇 달씩 걸리는 거버넌스를 유지하며, 핵심 인재를 외부 벤더에 의존해서는 성공하기 어렵다. AX에서 CEO의 가장 중요한 과제는 비전과 실제 운영 사이의 간극을 메우는 일이다.

브라질 대형 은행 브라데스코가 좋은 예다. 이 은행의 첫 자율형 AI 기반 결제 시도는 크고 복잡한 소수 에이전트에서 출발했으나, 직원 대상 베타 테스트에서 속도와 비용 문제가 드러났다. 브라데스코는 이 실책을 솔직히 인정하고 아키텍처를 처음부터 다시 설계했다. 재정비에 5개월이 걸렸고, 이 과정이 경험을 쌓는 토대가 됐다. 지금은 2200만 명의 소비자에게 AI 기반 서비스를 제공한다. 이 첫 시도에서 솔직하게 실험하고 방향을 전환하는 조직이 다음 파고에서 승리할 준비를 갖춘다.

AX, 선택과 집중이 필요

선택과 집중은 AX로 경쟁 우위를 만들지, 불필요한 활동만 양산할지를 가른다. AI가 사업 경제성을 바꿀 수 있는 두세 개 영역을 고르고, 자원과 최고 인력, CEO의 관심을 그곳에 집중해야 한다.

대부분 조직은 반대로 AI 도입의 폭을 넓힌다. 수십 개 기능에 AI를 도입하고 열의 높은 팀에 자금을 배분하며, 포트폴리오의 유스 케이스(use case) 수로 성공을 측정하지만, 결과는 어정쩡한 경우가 많다. 희소한 인재와 리더의 관심이 사소한 문제에 흩어지고, 판을 바꾸는 도약 대신 점진적 개선만 쌓여 조직의 피로도를 높여서다.

집중할 영역은 세 조건을 충족해야 한다. 자사 경쟁 우위의 원천과 가까울 것, 자율형 AI가 추론할 만큼 데이터가 풍부할 것, 한 단계가 아니라 여러 단계를 통째로 다시 설계하는 엔드투엔드(end-to-end) 프로세스일 것이다.

CEO의 개입은 선택이 아니다. 직원이 믿고 따를 약속과 결의를 보여줄 사람은 CEO뿐이다. 자원을 성장에 재투자할지, 직무를 줄일지, 줄인다면 재교육할지, 선택권을 줄지, 통보만 할지를 CEO가 정해야 한다.

투자 방식도 마찬가지다. 베인앤드컴퍼니의 최근 CEO 설문에서 응답자의 약 85%는 AI를 단기 비용 절감, 생산성 개선을 위한 재원 조달 수단으로 쓴다고 답했다. 초기 성과로 재원을 마련하려는 발상 자체는 일리가 있지만, 문제는 이 접근이 판을 바꿀 시도에 필요한 자원까지 잠식한다는 점이다. 모든 베팅에 단기 회수를 요구하면 투자는 작고 확실한 활동에만 쏠린다. 빠르고 측정하기 쉬운 수익은 경쟁 우위를 만드는 역량 축적과는 거리가 멀다. 실행이 쉽고 과거 경험과 비슷하며 재무팀이 평가하기 익숙한 일에 자원이 몰리기 때문이다. 

판도를 다시 짜는 AX는 설계하고 만들고 확장하는 데 시간이 걸린다. 성과가 입증되기 전에 투자하는 CEO의 결단과 그 결단의 필요성을 이해하는 이사회가 함께 뒷받침돼야 한다.

결국 데이터가 관건

해자(垓子)를 결정하는 것은 결국 데이터다. AI 모델은 예상보다 빠르게 평준화한다. 지금은 강력한 무기처럼 보이는 최첨단 모델도 몇 년 안에 널리, 저렴하게 쓸 수 있게 되겠지만, 쉽게 평준화되지 않는 것은 자사의 데이터다. 고객, 운영, 의사 결정과 그 결과에 관해 자사만이 쌓아 온 독점적 지식이기 때문이다. 이 데이터가 있어야 AI가 자사 사업의 구체적 맥락에서 추론할 수 있다.

다만 이 데이터는 경쟁사가 합성할 수는 없어도 환경이 바뀌면 가치가 떨어진다. 매일의 운영에서 새로 생기는 신호로 계속 채워져야 신선도가 유지된다.

문제는 대다수 기업의 데이터가 대규모 자율형 AI를 운영할 준비가 안 돼 있다는 점이다. 데이터는 연결되지 않은 시스템에 흩어져 있고, 데이터의 정의조차 시스템마다 다르다. 수익이라는 개념이 재무 시스템과 고객관계관리(CRM) 시스템, 내부 운영 보고서마다 다르게 쓰인다.

이를 푸는 열쇠는 의미 계층(semantic layer)이다. 데이터에 무엇이 들어 있는지가 아니라 그것이 사업적으로 무엇을 뜻하는지를 자율형 AI가 이해하도록 돕는 것이 사업 언어인데, 대다수 기업에는 이것이 없다. 의미 계층을 세워 AI 레디 데이터(AI-ready data)를 만드는 일은 경영진의 관심을 받기 어려운 후선 업무다. 보고의 헤드라인이 되지도, 화려한 데모를 만들지도, 당장 수익을 보여주지도 못하지만, AX가 확장될지 멈출지를 가르는 기본적인 기반이다. 이 토대를 일찍 마련한 기업일수록 자율형 AI를 배치할 때마다 더 빠르고 저렴하게 확장한다.

데이터 투자에서도 원칙은 집중이다. 상당수 기업이 모든 데이터를 정리·연결·통제하는 광범위한 현대화 프로그램을 앞세우지만, 비용이 많이 들고 느리며 사업 성과와 무관한 방대한 인프라만 남긴다. 더 나은 방법은 데이터 투자를 앞서 정한 핵심 베팅 영역에 우선 묶는 것이다. 고객 경험과 공급망을 우선 영역으로 정했다면 의미 있는 데이터 작업도 이 두 영역에 집중해야 한다. 핵심 개념을 정의하고 의미 계층과 거버넌스를 갖춰 필요한 데이터를 만든 뒤, 프로그램이 성숙해지는 데 따라 범위를 넓혀 가면 된다.