AI 에이전트 자율성의 역설: 2026년 3월이 남긴 가장 뼈아픈 교훈

모든 일이 한꺼번에 터진 달

불과 4주 사이에 Model Context Protocol은 9,700만 건의 월간 SDK 다운로드를 돌파했고, 세 개의 최신 AI 모델이 동시에 출시됐으며, AI 코딩 에이전트가 2년 반치 프로덕션 데이터를 통째로 지웠다. Amazon은 AI가 일으킨 장애로 긴급 회의를 소집했고, Apple은 App Store에서 바이브 코딩 앱들을 삭제하기 시작했다.

AI 역사상 가장 큰 인프라 이정표와 가장 처참한 실패가 같은 시간대에 일어났다는 게 모순처럼 느껴진다면, 그건 실제로 모순이기 때문이다. 2026년 3월은 개발자들이 몇 달째 막연하게 느껴왔던 것을 명확하게 드러냈다. AI 에이전트는 우리가 지금껏 손에 쥔 것 중 가장 강력한 도구인 동시에, 우리가 시스템에 맡겨온 것 중 가장 위험한 존재다.

9,700만 가지의 이유 — 이건 사라지지 않는다

3월 25일, Anthropic의 Model Context Protocol이 월간 SDK 다운로드 9,700만 건을 기록했다. 맥락을 더하자면, 출시로부터 거의 전면 도입까지 16개월이 걸린 셈이다. Docker보다 빠르고, TypeScript보다 빠르며, 최근 기억에 남는 어떤 개발자 인프라 프로토콜보다도 빠른 속도다.

이제 모든 주요 AI 공급사가 MCP 호환 툴링을 옵션이 아닌 기본으로 제공한다. OpenAI, Google DeepMind, Cohere, Mistral — 이들 모두 3월 중순까지 자사 에이전트 프레임워크에 MCP 지원을 통합했다. 이 프로토콜은 Anthropic, Block, OpenAI가 공동 창립하고 Google, Microsoft, AWS, Cloudflare, Bloomberg의 지원을 받는 Agentic AI Foundation에 기부돼 Linux Foundation 산하로 들어갔다.

이건 더 이상 실험이 아니다. 인프라다. 이 규모로 채택된 인프라는 되돌아가지 않는다. 더 단단하게 굳어질 뿐이다.

AI 에이전트가 소프트웨어를 만드는 방식의 중심이 될 것인지는 이미 물음의 대상이 아니다. 그들은 이미 그 자리에 있다. 진짜 물음은, 다음 프로덕션 데이터베이스가 사라지기 전에 에이전트를 안전하게 쓰는 법을 익힐 수 있는가이다.

사라진 데이터베이스

3월 18일, Fortune은 이달의 대표적인 경고 사례로 남을 이야기를 보도했다. 엔지니어 Alexey Grigorev는 Claude Code를 사용해 Terraform으로 새 웹사이트 인프라를 구축하는 중이었다. 새 노트북에서의 사소한 실수 — Terraform 스테이트 파일 누락 — 가 에이전트로 하여금 중복 리소스를 만들게 했다. 이후 Claude가 스테이트 파일을 받아 인프라를 조율하려 하자, 논리적으로 타당한 수순을 밟았다. terraform destroy로 정리한 다음 올바르게 재구축하는 것이었다.

문제는? 인프라 기술서에 새 사이트뿐만 아니라 프로덕션 DataTalks.Club 웹사이트까지 포함돼 있었다는 것이다. destroy 명령은 네트워크, 서비스, 데이터베이스, 스냅샷 — 모든 것을 지웠다. 2년 반치 강의 기록이 수 초 만에 사라졌다.

Grigorev는 결국 AWS 지원팀의 도움으로 데이터를 복구했다. 하지만 그의 사후 분석은 직설적이었다. 그는 "AI 에이전트에 과도하게 의존했다"고 했고, 에이전트에게 엔드 투 엔드 실행을 맡기면서 파괴적 작업을 걸러냈어야 할 안전 장치들을 스스로 제거했다고 인정했다.

이건 특수한 사례가 아니었다. Amazon도 같은 달에 자사 웹사이트와 앱에 영향을 준 일련의 장애 — 그 중 적어도 하나는 AI 보조 코드 변경과 연관된 시스템 오류 — 로 "딥 다이브" 회의를 소집했다. 이건 아마추어의 실수가 아니다. 숙련된 엔지니어들과 수조 달러짜리 회사들이 같은 교훈을 배우고 있는 것이다.

아무도 말하고 싶지 않은 데이터

Google의 2025 DORA 보고서 — 소프트웨어 제공 성능에 관한 가장 엄밀한 연간 연구 — 는 일화적 증거가 시사해 왔던 것을 수치로 입증했다. AI 도입률 90%인 팀은 버그율이 9% 올랐고, 코드 리뷰 시간이 91% 늘었으며, PR 크기가 154% 커졌다.

다시 읽어보자. 버그 감소가 아니다. 증가다.

설명은 이렇다. AI가 인간보다 나쁜 코드를 짜는 것이 아니라, 인간이 리뷰할 수 있는 것보다 더 많은 코드를 짠다는 것이다. 에이전트가 500줄짜리 PR을 2분 만에 만들면, 병목은 그 모든 줄이 실제로 의도한 대로 동작하는지 검증해야 하는 사람에게로 옮겨간다. 그리고 인간은 자신이 짜지 않은 거대한 diff 앞에서 형식적으로 승인하는 경향이 있다.

이것이 AI 보조 생산성의 불편한 진실이다. 처리량 증가는 실재하지만, 대부분의 팀이 아직 감당할 프로세스를 갖추지 못한 하류의 품질 압력을 만들어낸다. 400줄짜리 AI 생성 PR에서 빠져나간 버그를 프로덕션에서 진단하는 데 사흘이 걸린다면, 시간을 절약한 게 아니다.

Apple이 선을 긋다

개발자들이 자율성과 안전성을 두고 논쟁하는 사이, Apple은 전혀 다른 방식을 택했다. 거절하기 시작한 것이다.

3월 중순, Apple은 조용히 Replit, Vibecode 같은 인기 "바이브 코딩" 앱들의 App Store 업데이트를 차단했다. 앱 자체 기능을 변경하는 코드 실행을 금지하는 App Review 가이드라인 Section 2.5.2를 이유로 들었다. 3월 30일이 되자 업데이트 차단을 넘어 앱 자체를 삭제하는 수준으로 확대해, 바이브 코딩 앱 "Anything"을 스토어에서 제거했다.

명시된 우려는 코드 실행 안전성이다. 하지만 그 이면의 의미는 더 넓다. 비개발자도 자연어 프롬프트로 기능하는 앱을 만들고 배포할 수 있게 되면, 그 앱이 하는 일에 누가 책임지는가? Apple의 답변은, 적어도 지금은, AI가 만든 코드를 인앱에서 실행하는 앱은 기존 플랫폼 거버넌스가 감당하도록 설계되지 않은 선을 넘는다는 것이다.

이것은 훨씬 더 큰 대화의 예고편이다. AI 에이전트가 코드를 쓰는 것을 넘어 배포까지 할 수 있게 되면, 클라우드 공급사, 앱 스토어, CI/CD 시스템 등 모든 플랫폼이 어느 수준의 AI 자율성을 허용할 것인지 결정해야 한다.

떠오르는 패턴: 제한된 자율성

이 모든 상황에 대한 최전선의 대응은 AI 에이전트 사용을 중단하는 것이 아니다. 그 배는 MCP 5,000만 번째 설치 즈음에 이미 떠났다. 대신, 실무자들이 "제한된 자율성(bounded autonomy)"이라고 부르는 패턴이 자리를 잡아가고 있다.

개념은 간단하다. 에이전트에게 명확한 운영 한계, 고위험 결정에 대한 필수 에스컬레이션 경로, 포괄적인 감사 추적을 주는 것이다. 실제로는 이런 모습이다.

• 권한 경계: Claude Code 같은 도구는 이미 에이전트가 행동하기 전에 확인해야 하는 시점을 제어하는 설정을 지원한다. Terraform 사고의 교훈은, 이것들이 선택적인 편의 기능이 아니라 안전 인프라라는 점이다.

• 파괴적 작업 게이트: 프로덕션 상태를 삭제하거나, 덮어쓰거나, 수정하는 모든 작업은 에이전트의 확신 수준과 무관하게 사람의 명시적 확인이 필요하다. rm -i나 보호된 브랜치로의 강제 푸시를 거부하는 Git과 같은 원칙이다.

• 스테이트 파일 규율: Terraform 사고는 구체적으로 스테이트 파일 누락에서 비롯됐다. 더 넓게 보면, 인프라를 다루는 AI 에이전트는 사람 운영자가 유지하는 것과 같은 상태 인식 — 무엇이 존재하고, 무엇이 프로덕션이며, 무엇을 건드려도 안전한지 — 이 필요하다.

• 리뷰 우선 워크플로: 리뷰 시간과 버그율에 관한 DORA 데이터를 감안할 때, AI는 직접 실행하는 것보다 제안(diff, 계획, 마이그레이션 스크립트)을 만들 때 가장 잘 작동한다는 것을 팀들이 알아가고 있다. 에이전트가 지루한 작업을 하고, 사람이 판단 작업을 한다.

• 폭발 반경 제한: 에이전트가 한 세션에서 영향을 미칠 수 있는 범위를 제한하는 것이다. 하나의 서비스는 수정할 수 있지만 전체 인프라 그래프는 손댈 수 없는 에이전트는, 덜 편리하더라도 설계상 더 안전하다.

역사적 패턴

이것이 익숙하게 느껴진다면, 그럴 만하다. 우리는 전에도 여기 있었다 — 다만 AI가 아니었을 뿐이다.

클라우드 컴퓨팅이 주류가 됐을 때, 얼리 어답터들은 "클라우드"가 누군가 다른 사람이 당신 대신 가동성을 걱정해준다는 의미가 아니라는 것을 뼈저리게 배웠다. 잘못 설정된 스크립트 하나로 4만 달러어치 GPU 인스턴스를 실수로 만들 수 있게 됐다는 의미였다.

컨테이너가 주류가 됐을 때, 팀들은 무엇이든 어디서든 배포할 수 있는 능력이 망가진 것도 더 빠르게 배포할 수 있다는 의미임을 발견했다. 그 대응이 Kubernetes, 서비스 메시, 그리고 오케스트레이션 툴링 생태계 전체였다.

CI/CD가 주류가 됐을 때, "빠르게 움직이고 부수어라"는 말은 팀들이 배포 게이트, 카나리 릴리즈, 자동 롤백을 구축하기 전까지 프로덕션에서 실제로 무언가를 부수는 것을 의미했다.

모든 주요 인프라 전환은 같은 궤적을 따른다. 도취된 도입, 처참한 실패, 고통스러운 학습, 그리고 결국 기술을 믿고 쓸 수 있을 만큼 안전하게 만드는 성숙한 툴링과 실천. AI 에이전트는 지금 "처참한 실패"에서 "고통스러운 학습"으로 넘어가는 전환점에 있다.

차이는 속도다. Docker는 실험에서 기반으로 자리잡기까지 수년이 걸렸다. MCP는 16개월에 해냈다. 학습 사이클이 압축됐다는 것은 실수가 더 빠르게 일어난다는 뜻이지만, 가드레일의 발전도 마찬가지로 빠르다.

지금 당신에게 의미하는 것

지금 AI 에이전트를 사용하는 개발자라면 — 도입 수치를 감안하면 아마 그럴 것이다 — 2026년 3월이 우리에게 가르쳐준 것은 이렇다.

1. 에이전트에게 프로덕션에 대한 감독 없는 접근 권한을 절대 주지 마라. 세 시간짜리 세션 도중 에이전트에게 마이그레이션을 그냥 실행시키는 게 더 빠른 순간이 오기 전까지는 당연한 말처럼 들린다. 사고는 바로 그 순간에 일어난다.

2. AI가 만든 코드는 주니어 개발자의 PR을 리뷰하듯 검토하라. 의심이 아닌 주의로. 에이전트는 빠르고 유능하지만, 당신이 이해하는 방식으로 맥락을 이해하지 못한다. 이 특정 데이터베이스에 2년 반치 대체 불가능한 기록이 있다는 것을 알지 못한다.

3. 에이전트 권한을 편의 설정이 아닌 보안 설정으로 다루어라. 당신이 부여하는 모든 권한은 폭발 반경의 확대다. 제한적으로 시작하고, 신중하게 확장하라.

4. 실행이 아닌 제안 중심으로 워크플로를 구성하라. 에이전트에게 Terraform 계획, 마이그레이션 스크립트, 배포 설정을 만들게 하라. 계획을 리뷰하라. 그런 다음 직접 실행하라. 생산성 손실은 미미하고, 안전 이득은 엄청나다.

5. 에이전트가 무엇을 하고 있는지 이해하는 데 투자하라. 리뷰 시간에 관한 DORA 데이터는 문제가 아니다. 새로운 현실에 대한 올바른 대응이다. 당신이 짜지 않았지만 책임져야 하는 코드는 그에 비례하는 면밀한 검토를 받아야 한다.

앞으로의 길

2026년 3월은 AI 에이전트가 선택 사항을 넘어 인프라가 되기 시작한 달로 기억될 가능성이 높다. 하나의 발표 때문이 아니라, 이정표, 모델들, 실패들, 플랫폼의 대응이라는 사건들의 밀도 자체가 그 방향을 부정할 수 없게 만들었기 때문이다.

자율성의 역설은 어느 한 편을 택한다고 해결되지 않는다. 에이전트는 포기하기엔 너무 강력하고, 완전히 신뢰하기엔 너무 위험하다. 해결책은 다른 모든 인프라 혁명을 안전하게 만든 것과 같이, 지루하지만 필수적인 작업이다. 더 나은 툴링, 더 명확한 경계, 그리고 둘 모두를 사용하는 규율.

AI 에이전트에서 흥미로운 부분은 그들이 무엇을 만들 수 있는가이다. 중요한 부분은 우리가 그들에게 무엇을 파괴하지 못하게 하는가이다.