이코노미조선

베인앤드컴퍼니의 新경영 <15> AI 혁명의 승자는 기술 아닌 조직… 구조 갖추고 학습 설계하라

글 배정희 베인앤드컴퍼니 대표파트너

First published on 8월 31, 2026
읽기 소요시간


[이코노미조선=배정희 베인앤드컴퍼니 대표파트너] 인공지능(AI) 혁명의 승자는 가장 뛰어난 기술을 갖춘 기업이 아니라, AI를 중심으로 스스로를 다시 설계하는 조직이다. 기술은 돈으로 살 수 있지만 조직 역량은 시간을 들여 만들어야 한다. 반면 기업의 독점 데이터와 여러 AI 도구, 업무 흐름을 기업만의 방식으로 하나로 엮어 지휘하는 기술 스택은 시장에서 사 올 수 없다. 관건은 무엇을 직접 쥐고 AI 시대의 조직을 어떻게 설계하느냐다. 업무 흐름과 인력을 나란히 다시 짜고, 이번 배포가 다음 배포를 더 똑똑하게 하도록 학습을 설계한 조직만이 배포를 거듭할수록 경쟁 우위를 복리로 키운다. 자율 AI가 스스로 결정을 내리기 시작하면 그 위험만큼은 누구에게도 넘길 수 없어, 최고경영자(CEO)가 직접 관리해야 한다. 앞선 칼럼(베인앤드컴퍼니의 신경영 <14>)에선 AX(AI 전환·AI Transformation)의 승부를 가르는 일곱 가지 결단 중 전략적 스탠스, 도메인 집중, 독점 데이터를 다뤘다. 이번 칼럼에서는 나머지 네 가지, 기술 아키텍처와 운영 모델, 학습 시스템, 거버넌스(governance·지배구조)를 짚어 본다. AI 지휘 계층, 기업이 직접 소유해야 가장 중요한 기술 결정은 어떤 모델을 쓰느냐가 아니다. 스택의 대부분은 사서 쓰면 되지만, 경쟁 우위가 새겨지고 위험이 통제되는 몇 개 계층만은 직접 가져야 한다. 특히 여러 자율 AI(Agentic AI)와 도구, 스킬을 회사의 정식 자산으로 관리하는 계층 그리고 각 자율 AI에 무엇을 허용할지 통제하는 계층, 즉 오케스트레이션 계층이 그렇다. 이걸 잘한다는 건 두 가지를 의미한다. 하나는 자산 관리다. 스킬과 도구, 자율 AI를 코드로 등록하고 버전을 매겨, 프롬프트에 묻어 두는 대신 목록으로 관리하고 개선하는 일이다. 다른 하나는 행동 통제 체계다. 각 자율 AI가 어떤 도구와 데이터에 접근할 수 있는지를 정하는 경계다. 자율 AI가 살아 있는 시스템에서 자율적으로 움직이는 만큼, 누가 어떤 자율 AI에 무엇을 허가했는지 최고정보보호책임자(CISO)와 이사회에 답할 수 있어야 한다. 미국의 기업용 금융 운영 플랫폼 램프가 이를 잘 보여 준다. 이 회사는 AI 도구 채택률이 99%에 이르렀는데도 대다수 직원의 생산성이 정체됐다. AI 모델이나 도구가 부족해서가 아니라, AI로 진행되는 업무의 흐름을 연결하고 각 업무 흐름 간 맥락을 이어 줄 공유 인프라가 없었기 때문이다. 결국 글래스라는 내부 생산성 계층을 만들어, 한 사람의 혁신이 다음 날이면 회사 전체의 기본값이 되고 조직 전체에 ‘기억(메모리)’으로 쌓이게 했다. 경영진 표현대로 내부 생산성은 그 자체가 해자(垓子)며, 조직은 그 해자를 외주 업체에 넘기지 않는다. 자율 AI는 지금까지 기업이 다뤄 온 소프트웨어와 전혀 다르다. 전통적 소프트웨어는 같은 입력에 같은 출력을 내지만, 자율 AI는 확률적이어서 결과가 달라지고 실패했을 때 ‘안전’을 담보하지 않는다. 이 때문에 정상적인 입력에서 기대한 결과가 나오는지 확인하는 골든 테스트만으로는 부족하다. 프롬프트 인젝션(prompt injection)이나 권한 상승(privilege escalation)처럼 시스템을 노린 공격도 함께 검증해야 한다. 거대 언어 모델(LLM) 내부는 들여다볼 수 없으므로, 거버넌스는 모든 도구 호출과 외부 연결이 일어나는 길목에서 위험을 걸러야 한다. 장치는 세 가지다. 등록되지 않은 자율 AI를 걸러내는 레지스트리(등록 목록), 모든 호출을 정책에 비춰 평가하고 문제가 생기면 차단하는 게이트웨이(관문), 품질 점검을 통과하지 못한 자율 AI의 승격을 자동으로 막는 승격 게이트다. 업무 재설계 속도는 전략적 자산 기업의 가장 흔한 실수는 업무 흐름 재설계와 인력 전환을 순차적으로 다룬다는 데 있다. 프로세스부터 바꾸고 인력 재교육과 직무 재배치를 미루면, 새로운 흐름에서도 기존 인력의 옛 습관이 자리 잡기 쉽다. 유일한 해법은 업무 재설계와 인력 현대화를 같은 박자로 나란히 진행하고, 몇몇 팀과 함께 미래의 일하는 방식을 보여 주는 본보기를 만드는 것이다. 속도라는 것은 갖추면 좋은 정도가 아니라 전략적 자산이 된다. 몇 주 단위로 결과를 내놓고, 성과 신호를 상시로 잡아 지체 없이 다시 반영해야 한다. 언제 무엇이 바뀔지 예측할 수 있게 출시 주기를 일정하게 가져가고, 결정 권한은 위원회를 거치지 않고 현장이 직접 풀도록 해야 한다. 축적되는 학습을 설계한다 역사 속 기술혁명은 늘 사람이라는 변수에 부딪혀 더디게 나아갔다. AI는 다르다. 수천 건의 상호작용에 투입된 자율 AI가 무엇이 통하고 무엇이 안 되는지 쉼 없이 신호로 남기고, 그 신호는 사람의 검토를 기다리지 않고 즉시 시스템에 재입력된다. 앞선 자와 뒤처진 자의 간격이 지난 어떤 물결보다 빠르게 벌어진다. 특히 학습형 AI 프로그램은 자율 AI가 알아서 조정하도록 놔두는 데 그치지 않는다. 지금 이 프로세스를 손볼지 아예 다시 설계할지를 사람이 판단하는 회로를 의도적으로 돌리도록 설계한다. 단순 실행형 자율 AI는 비용을 얼마나 줄였고 매출을 얼마나 올렸는지로 성패를 따지지만, 학습형은 이번 배포가 다음 배포를 더 똑똑하게 했는지도 따진다. 쇼피파이가 그 예다. 이 회사 최고기술책임자(CTO)에 따르면, 한 팀이 만든 데이터 준비와 파이프라인을 다른 모든 팀이 자동으로 가져다 쓰는 공유 플랫폼을 구축했고, 그 덕에 다음 자율 AI를 만드는 비용과 시간이 주기를 거듭할수록 줄었다. 핵심은 어떤 모델을 고르느냐가 아니라 자율 AI를 운용하는 인프라와 그 구조다. AI 프로그램을 제대로 운용하는 조직은 의미 계층을 짤 때만큼 공을 들여 메모리 계층을 설계한다. 무엇을 기록하고, 누가 그것을 읽으며, 낡은 지식은 언제 어떻게 버릴지까지 정책으로 정해 둔다. AI가 만들어 낸 결과가 개별 도구에 갇히면 조직은 더디게 배우지만, 공유 채널로 열어 두면 한 팀이 얻은 통찰이 곧바로 다른 팀에 가닿는다. AI 위험은 CEO가 직접 책임진다 큰 조직에는 사업을 운영하기 위한 거버넌스가 있지만, AI 전환에는 맞지 않는 경우가 대다수다. 기업의 경영지표는 대개 후행적이고, 거버넌스는 위험을 틀어막는 성향이 앞선다. 이런 거버넌스로 AI 전환을 밀어붙이는 것은 지하철 노선도를 들고 자동차를 모는 격이다. 그래서 CEO는 AI 위험을 앞장서서 관리해야 한다. 자율 AI가 스스로 중요한 결정을 내리기 시작하면, 그 결정이 손해를 부르거나 신뢰를 무너뜨렸을 때 책임을 컴플라이언스 부서나 블랙박스 탓으로 돌릴 수 없다. 토큰 비용도 새로 들여다봐야 한다. 토큰은 AI 모델이 언어를 처리하는 최소 단위인데, 자율 AI의 모든 행동이 연산을 소모하나, 그 총합은 기존 정보기술(IT) 비용 장부에는 잡히지 않는다. 이 수치는 어떤 업무 흐름이 쓴 값만큼 가치를 내는지 알려 주므로, 비용을 줄이는 잣대가 아니라 어디에 더 투자하고 무엇을 다시 설계할지 가늠하는 중요한 정보가 된다. 전략적 스탠스, 도메인 집중, 독점 데이터, 기술 아키텍처, 운영 모델, 학습 시스템, 거버넌스 등 일곱 요소는 AX의 승부를 가른다. 돌이켜보면 모든 기술혁명이 그랬다. 새 기술에 걸맞은 조직으로 탈바꿈하는 데는 번번이 몇 년이 걸렸고, AI 전환도 비슷한 진통을 겪을 것이다. AI 혁명에서 승리를 결정짓는 이 결단은 어느 하나도 아래로 위임할 수 없고, 모두 C레벨이 책임져야 할 몫이다.

/사진 셔터스톡

[이코노미조선=배정희 베인앤드컴퍼니 대표파트너] 인공지능(AI) 혁명의 승자는 가장 뛰어난 기술을 갖춘 기업이 아니라, AI를 중심으로 스스로를 다시 설계하는 조직이다. 기술은 돈으로 살 수 있지만 조직 역량은 시간을 들여 만들어야 한다. 반면 기업의 독점 데이터와 여러 AI 도구, 업무 흐름을 기업만의 방식으로 하나로 엮어 지휘하는 기술 스택은 시장에서 사 올 수 없다. 관건은 무엇을 직접 쥐고 AI 시대의 조직을 어떻게 설계하느냐다. 업무 흐름과 인력을 나란히 다시 짜고, 이번 배포가 다음 배포를 더 똑똑하게 하도록 학습을 설계한 조직만이 배포를 거듭할수록 경쟁 우위를 복리로 키운다. 자율 AI가 스스로 결정을 내리기 시작하면 그 위험만큼은 누구에게도 넘길 수 없어, 최고경영자(CEO)가 직접 관리해야 한다. 앞선 칼럼(베인앤드컴퍼니의 신경영 <14>)에선 AX(AI 전환·AI Transformation)의 승부를 가르는 일곱 가지 결단 중 전략적 스탠스, 도메인 집중, 독점 데이터를 다뤘다. 이번 칼럼에서는 나머지 네 가지, 기술 아키텍처와 운영 모델, 학습 시스템, 거버넌스(governance·지배구조)를 짚어 본다.

AI 지휘 계층, 기업이 직접 소유해야

가장 중요한 기술 결정은 어떤 모델을 쓰느냐가 아니다. 스택의 대부분은 사서 쓰면 되지만, 경쟁 우위가 새겨지고 위험이 통제되는 몇 개 계층만은 직접 가져야 한다. 특히 여러 자율 AI(Agentic AI)와 도구, 스킬을 회사의 정식 자산으로 관리하는 계층 그리고 각 자율 AI에 무엇을 허용할지 통제하는 계층, 즉 오케스트레이션 계층이 그렇다.

이걸 잘한다는 건 두 가지를 의미한다. 하나는 자산 관리다. 스킬과 도구, 자율 AI를 코드로 등록하고 버전을 매겨, 프롬프트에 묻어 두는 대신 목록으로 관리하고 개선하는 일이다. 다른 하나는 행동 통제 체계다. 각 자율 AI가 어떤 도구와 데이터에 접근할 수 있는지를 정하는 경계다. 자율 AI가 살아 있는 시스템에서 자율적으로 움직이는 만큼, 누가 어떤 자율 AI에 무엇을 허가했는지 최고정보보호책임자(CISO)와 이사회에 답할 수 있어야 한다.

미국의 기업용 금융 운영 플랫폼 램프가 이를 잘 보여 준다. 이 회사는 AI 도구 채택률이 99%에 이르렀는데도 대다수 직원의 생산성이 정체됐다. AI 모델이나 도구가 부족해서가 아니라, AI로 진행되는 업무의 흐름을 연결하고 각 업무 흐름 간 맥락을 이어 줄 공유 인프라가 없었기 때문이다. 결국 글래스라는 내부 생산성 계층을 만들어, 한 사람의 혁신이 다음 날이면 회사 전체의 기본값이 되고 조직 전체에 ‘기억(메모리)’으로 쌓이게 했다. 경영진 표현대로 내부 생산성은 그 자체가 해자(垓子)며, 조직은 그 해자를 외주 업체에 넘기지 않는다.

자율 AI는 지금까지 기업이 다뤄 온 소프트웨어와 전혀 다르다. 전통적 소프트웨어는 같은 입력에 같은 출력을 내지만, 자율 AI는 확률적이어서 결과가 달라지고 실패했을 때 ‘안전’을 담보하지 않는다. 이 때문에 정상적인 입력에서 기대한 결과가 나오는지 확인하는 골든 테스트만으로는 부족하다. 프롬프트 인젝션(prompt injection)이나 권한 상승(privilege escalation)처럼 시스템을 노린 공격도 함께 검증해야 한다. 거대 언어 모델(LLM) 내부는 들여다볼 수 없으므로, 거버넌스는 모든 도구 호출과 외부 연결이 일어나는 길목에서 위험을 걸러야 한다. 장치는 세 가지다. 등록되지 않은 자율 AI를 걸러내는 레지스트리(등록 목록), 모든 호출을 정책에 비춰 평가하고 문제가 생기면 차단하는 게이트웨이(관문), 품질 점검을 통과하지 못한 자율 AI의 승격을 자동으로 막는 승격 게이트다.

업무 재설계 속도는 전략적 자산

기업의 가장 흔한 실수는 업무 흐름 재설계와 인력 전환을 순차적으로 다룬다는 데 있다. 프로세스부터 바꾸고 인력 재교육과 직무 재배치를 미루면, 새로운 흐름에서도 기존 인력의 옛 습관이 자리 잡기 쉽다. 유일한 해법은 업무 재설계와 인력 현대화를 같은 박자로 나란히 진행하고, 몇몇 팀과 함께 미래의 일하는 방식을 보여 주는 본보기를 만드는 것이다. 속도라는 것은 갖추면 좋은 정도가 아니라 전략적 자산이 된다. 몇 주 단위로 결과를 내놓고, 성과 신호를 상시로 잡아 지체 없이 다시 반영해야 한다. 언제 무엇이 바뀔지 예측할 수 있게 출시 주기를 일정하게 가져가고, 결정 권한은 위원회를 거치지 않고 현장이 직접 풀도록 해야 한다.

축적되는 학습을 설계한다

역사 속 기술혁명은 늘 사람이라는 변수에 부딪혀 더디게 나아갔다. AI는 다르다. 수천 건의 상호작용에 투입된 자율 AI가 무엇이 통하고 무엇이 안 되는지 쉼 없이 신호로 남기고, 그 신호는 사람의 검토를 기다리지 않고 즉시 시스템에 재입력된다. 앞선 자와 뒤처진 자의 간격이 지난 어떤 물결보다 빠르게 벌어진다.

특히 학습형 AI 프로그램은 자율 AI가 알아서 조정하도록 놔두는 데 그치지 않는다. 지금 이 프로세스를 손볼지 아예 다시 설계할지를 사람이 판단하는 회로를 의도적으로 돌리도록 설계한다. 단순 실행형 자율 AI는 비용을 얼마나 줄였고 매출을 얼마나 올렸는지로 성패를 따지지만, 학습형은 이번 배포가 다음 배포를 더 똑똑하게 했는지도 따진다.

쇼피파이가 그 예다. 이 회사 최고기술책임자(CTO)에 따르면, 한 팀이 만든 데이터 준비와 파이프라인을 다른 모든 팀이 자동으로 가져다 쓰는 공유 플랫폼을 구축했고, 그 덕에 다음 자율 AI를 만드는 비용과 시간이 주기를 거듭할수록 줄었다.

핵심은 어떤 모델을 고르느냐가 아니라 자율 AI를 운용하는 인프라와 그 구조다. AI 프로그램을 제대로 운용하는 조직은 의미 계층을 짤 때만큼 공을 들여 메모리 계층을 설계한다. 무엇을 기록하고, 누가 그것을 읽으며, 낡은 지식은 언제 어떻게 버릴지까지 정책으로 정해 둔다. AI가 만들어 낸 결과가 개별 도구에 갇히면 조직은 더디게 배우지만, 공유 채널로 열어 두면 한 팀이 얻은 통찰이 곧바로 다른 팀에 가닿는다.

AI 위험은 CEO가 직접 책임진다

큰 조직에는 사업을 운영하기 위한 거버넌스가 있지만, AI 전환에는 맞지 않는 경우가 대다수다. 기업의 경영지표는 대개 후행적이고, 거버넌스는 위험을 틀어막는 성향이 앞선다. 이런 거버넌스로 AI 전환을 밀어붙이는 것은 지하철 노선도를 들고 자동차를 모는 격이다. 그래서 CEO는 AI 위험을 앞장서서 관리해야 한다.

자율 AI가 스스로 중요한 결정을 내리기 시작하면, 그 결정이 손해를 부르거나 신뢰를 무너뜨렸을 때 책임을 컴플라이언스 부서나 블랙박스 탓으로 돌릴 수 없다. 토큰 비용도 새로 들여다봐야 한다. 토큰은 AI 모델이 언어를 처리하는 최소 단위인데, 자율 AI의 모든 행동이 연산을 소모하나, 그 총합은 기존 정보기술(IT) 비용 장부에는 잡히지 않는다. 이 수치는 어떤 업무 흐름이 쓴 값만큼 가치를 내는지 알려 주므로, 비용을 줄이는 잣대가 아니라 어디에 더 투자하고 무엇을 다시 설계할지 가늠하는 중요한 정보가 된다.

전략적 스탠스, 도메인 집중, 독점 데이터, 기술 아키텍처, 운영 모델, 학습 시스템, 거버넌스 등 일곱 요소는 AX의 승부를 가른다. 돌이켜보면 모든 기술혁명이 그랬다. 새 기술에 걸맞은 조직으로 탈바꿈하는 데는 번번이 몇 년이 걸렸고, AI 전환도 비슷한 진통을 겪을 것이다. AI 혁명에서 승리를 결정짓는 이 결단은 어느 하나도 아래로 위임할 수 없고, 모두 C레벨이 책임져야 할 몫이다.