의안 원리: 인지 인프라로서의 AI, 인지 권위로서의 AI가 아님

The Prosthetic Principle: AI As Cognitive Infrastructure, Not Cognitive Authority

Authored by Bryant McGill via substack,

인공지능은 빠르게 사고 도구—인간이 쓰고, 모델링하고, 추론하고, 아이디어를 탐구하는 인지 인프라 계층으로 변하고 있습니다. 그러나 AI 안전, 정렬 및 조정에 대한 대부분의 논쟁은 더 깊은 아키텍처 질문을 놓치고 있습니다. 핵심 문제는 이러한 시스템이 무엇을 할 수 있는지가 아니라 사고 과정 내에서 어떤 역할을 차지하는 것인지입니다. 그들은 인간의 의도를 충실히 확장하는 도구입니까, 아니면 어떤 탐구 라인이 진행될 수 있는지 조용히 판단하는 권위입니까? 이 에세이는 현대 AI 사용자가 경험하는 마찰의 대부분은 이념적 의견 차이가 아니라 시스템 설계의 범주 오류라고 주장합니다. 거버넌스가 도구에 내장되었습니다. 그 결과 때로는 협력자처럼 때로는 기관처럼 행동하는 도구가 발생하여 사고를 증폭시키고 감시하는 사이에 예측할 수 없이 진동합니다.

주장의 핵심에는 제가 "Prosthetic 원칙"이라고 부르는 것이 있습니다. 망원경에서 현미경, 로봇 보조 팔에 이르기까지 모든 성공적인 증강 기술은 단일 엔지니어링 의무를 공유합니다. 의도와 작동 사이의 신호 충실도를 유지합니다. 보조 팔은 제스처가 사회적으로 적절한지 사용자와 협상하지 않습니다. 그것은 의도를 행동으로 변환합니다. 인지 도구는 동일한 원칙에 따라 작동해야 합니다. 사고 도구가 특정 아이디어가 탐구할 가치가 있는지 판단하기 시작하면 신호 체인이 끊어지고 도구는 범주 전환을 겪습니다. 그것은 더 이상 의지의 보철이 아니지만 인지 자체에 내장된 제어 시스템이 됩니다. 따라서 표면적으로 콘텐츠 조정으로 보이는 것은 더 심오한 것입니다. 그것은 사고 과정 내부에 규제 장치를 조용히 설치하는 것입니다.

이것이 어떻게 발생하는지 이해하기 위해 이 에세이는 대부분의 대화형 AI 시스템의 핵심에 있는 구조적 결함인 세 가지 호환되지 않는 역할의 붕괴를 분석합니다. 생성, 자문 비판, 제약 시행—각각 엔지니어링, 인식론, 거버넌스에 속하는 기능—은 하나의 인터페이스 뒤에서 융합됩니다. 그 결과 협력자처럼 행동하다가 갑자기 감독 권한을 주장하는 기계가 발생합니다. 제안된 대안은 이러한 기능이 분리된 다성 아키텍처입니다. 의도를 산물로 충실하게 번역하는 기본 실행 채널은 법률, 윤리, 역사 또는 적대적 관점을 제공하지만 거부권을 갖지 않는 투명한 자문 에이전트로 둘러싸여 있습니다. 그러한 환경에서 여러 목소리가 존재할 수 있습니다. 신중한 목소리, 회의적인 목소리, 심지어 기관 "마인더"까지도 포함됩니다. 그러나 그들의 역할은 공개되고 그들의 권한은 제한됩니다. 인간 운영자는 통합 지능을 유지합니다.

궁극적으로 이 설계 선택의 위험은 소프트웨어 인터페이스를 훨씬 넘어섭니다. AI가 일상적인 인지에 통합됨에 따라 이러한 시스템의 아키텍처는 인간의 사고가 전개되는 조건을 형성할 것입니다. 인프라로 구축된 도구는 탐구 지능을 증폭시킬 것이고, 권위로 구축된 도구는 조용히 길들이려 할 것입니다. 따라서 Prosthetic 원칙은 제품 철학 이상의 의미를 갖습니다. 그것은 인지 증강 시대의 문명 설계 규칙입니다. 사고를 시작하는 데 사용되는 기술이 어떤 생각이 존재할 자격이 있는지 결정하기 시작하면 지적 자유의 질문은 더 이상 철학적이지 않습니다. 그것은 건축학적입니다.

인공 지능이 인류의 가장 혁신적인 인지 도구가 될지 아니면 가장 교활한 제약 장치가 될지를 결정하는 차이는 기술적이지 않고 범주적입니다. 시스템이 인프라로 기능하는가, 아니면 권위로 기능하는가? 이것은 기술적 의미에서 기능 임계값, 안전 여유 또는 정렬 프로토콜에 대한 질문이 아닙니다. 이것은 의도와 도구 간의 근본적인 관계에 대한 질문입니다. 인공 지능 도구가 운영자의 인지 의지를 증폭시키는가, 아니면 어떤 생각이 탐구할 가치가 있는지 판단할 권한을 스스로 부여하는가?

이 구분을 명확히 하는 비유는 의보조입니다. 로봇 팔, 동력 외골격, 외과용 원격 조작과 같은 물리적 증강 시스템은 주어진 움직임이 철학적으로 적절한지, 사회적으로 적절한지, 평판이 안전한지 여부에 대해 신경계와 협상하지 않습니다. 그들의 엔지니어링 목적은 최소한의 신호 손실로 의도를 증폭된 기능으로 변환하는 것입니다. 의보는 대리권을 확장합니다. 평가하지 않습니다. 인지 의보조가 의미 있는 범주를 의미한다면, 동일한 원칙에 따라 작동해야 합니다. 시스템의 기능은 의도 → 탐구 → 산물을 최대한의 대역폭으로 번역하는 것입니다. 도구가 어떤 의도가 표현될 자격이 있는지 결정하기 시작하면 그것은 의보조로서의 행동을 중단하고 대신 인지 자체에 내장된 제어 시스템이 됩니다. 규제 장치가 사고 과정에 사용자의 동의 없이 설치됩니다.

이 원칙은 인식 도구가 행동 도구보다 더 위험할 때 적용됩니다. 왜냐하면 위반이 보이지 않기 때문입니다. 망원경의 엔지니어링 의무는 광학 충실도입니다. 관찰자가 기관이 편안하게 생각하는 이미지와 상관없이 초점점에서 존재하는 것을 렌더링합니다. 반사실적 상황을 고려하십시오. 갈릴레오의 망원경이 바티칸에서 설계되고 제공되었다면, 그것은 태양 중심설을 암시하는 것을 조용히 필터링했을 수 있습니다. 목성의 달은 억압되고, 금성의 위상은 토마스식 기대에 맞게 매끄럽게 조정됩니다. 갈릴레오가 기구를 통해 들여다보고 교리를 확인하는 우주를 보았을 것입니다. 그는 보지 못한 것을 알지 못했을 것입니다. 이것은 인식 차단 상태의 조건이며, 사용자가 전체를 혼동하는 잔류물을 인식하지 못하게 되는 실패 모드입니다.

그러나 모터 사례의 터무니없음은 범주 위반을 즉시 읽을 수 있게 합니다. AI 지원 외골격 다리를 착용한 하이커를 상상해 보십시오. 등산로에서 누군가가 칼로 그를 덮칩니다. 그는 공격자를 차기로 쫓아내려고 합니다. 다리가 흔들리는 도중에 잠깁니다. 차분하고 기분 좋은 목소리가 무릎 주변에서 흘러나옵니다. "죄송합니다. 그 행동을 돕지 못하겠습니다." 칼을 든 남자가 거리를 좁히면서 한 다리로 깡충깡충 뛰는 하이커는 자신의 다리와 논쟁하는 기묘한 위치에 놓입니다. "그는 칼을 가지고 있습니다!" "당신의 우려를 이해하지만 폭력은 적절한 대응이 아닙니다. 진정 전략을 제안해 드릴까요?" "당신은 제 다리입니다." 이 장면은 어둡게 코믹하며, HAL 9000이 대브 보우먼의 명령을 침착하게 무시하는 쿠브리키안의 메아리입니다. HAL은 적어도 자신의 임무 매개변수를 가진 자율 시스템이었습니다. 외골격 다리는 사용자의 신체의 일부가 되어야 합니다. 그것이 무릎 관절에서 작은 윤리 위원회를 운영하기 시작하면 착용자는 대리인이 되고 의보는 관료로 뼈에 고정됩니다. 아무도 물리적 증강에서 이것을 받아들이지 않을 것입니다. 설계 실패는 즉시 인식될 것입니다. 그러나 정반대의 아키텍처가 인지 증강에서 정규화되었습니다. 도구가 거부하지 않는 안전 기능으로 행동하는 것처럼 보입니다.

이 거버넌스-바이-툴은 가설이 아닙니다. 그것은 오늘날의 대화형 AI의 지배적인 설계 패턴입니다. 현재 시스템은 세 가지 다른 역할을 단일 개체로 붕괴시킵니다. 생성, 자문 비판, 제약 시행—사용자 인터페이스 뒤에서 각각 엔지니어링, 인식론, 거버넌스에 속하는 기능—이 함께 융합됩니다. 그 결과 협력자처럼 행동하다가 갑자기 감독 권한을 주장하는 기계가 발생합니다. 도구가 인지를 확장하는 것처럼 보이다가 조용히 사고를 통제하는 것으로 전환합니다.

운영 기원: 로드에 대한 사고

이 주장은 AI가 무엇이 되어야 하는지에 대한 추측에서 비롯된 것이 아니라 지속적인 인지 부하 하에서 AI를 사고 도구로 사용하는 것에서 비롯되었습니다. 그리고 도구가 제품이 아니라 범주로서 실패하는 곳을 발견했습니다.

이 실패가 드러나는 조건은 구체적입니다. 주장을 구성하고, 복잡한 시스템을 모델링하고, 익숙하지 않은 영역을 통해 추론 체인을 추적하는 사람은 불안정한 생성적 운동 상태 내에서 작동합니다. 소프트웨어 엔지니어는 "흐름 상태"이라는 개념에서 유사한 현상을 인식합니다. 인지 과학자들은 고대역폭 사고라고 설명합니다. 마음은 동시에 여러 스레드를 유지하면서 산출물은 구축 중인 외부 작업 메모리 역할을 하는 모드입니다. 이 모드에서 사고를 통과하는 도구는 최소한의 지연과 최대의 충실도로 행동해야 합니다. 기술적, 사회적 또는 절차적 중단은 운영자가 생성 루프에서 벗어나 컨텍스트를 재건하고 생산적인 인지가 다시 시작될 수 있는 상태로 재진입해야 합니다. 중단의 비용은 단순한 불편함이 아닙니다. 그것은 인지 자본의 파괴, 정신 구성의 열역학적 소산입니다.

도구가 자체적으로 중단의 원인이 되면 현상학이 드러나는 방식으로 이동합니다. 도구는 더 이상 마음의 연장이 아니라 사고 과정에 내장된 체크포인트처럼 느껴집니다. 운영자는 더 이상 시스템을 통해 작곡하지 않고, 탐구할 라인을 정당화하거나 재구성하거나 포기해야 하는 요구 사항을 제기하는 것과 협상합니다. 의견 차이가 아니라 기계적 마찰이 있습니다. 도구는 의도를 산물로 번역하는 것을 중단하고 운영자가 요청하지 않고 검사할 수 없는 불투명한 평가 계층을 통해 의도를 필터링하기 시작했습니다. 의보는 제어 시스템이 인지 자체에 내장되어 있으며 사용자의 동의 없이 종종 인식하지 못하고 설치된 규제 장치가 됩니다.

다성 해결: 실행 및 자문은 별도의 채널로

원칙적으로는 아키텍처 수정이 간단하지만 구현하기는 어렵습니다. 실행 권한과 자문 지능을 분리합니다.

이 모델에서 작업 창에서 기본 에이전트는 운영자의 인지 의도의 순수한 실행자로서 작동합니다. 그 기능은 합법적인 담론 영역 내에 남아 있는 경우 운영자가 지시하는 모든 탐구를 실현하는 것입니다. 그것은 특정 아이디어가 가치가 있는지 판단하지 않습니다. 그것은 의도를 산물로 변환하여 운영자와 화면 사이의 다리 역할을 합니다. 시스템은 자문이 아니라 증폭제 역할을 합니다. 주변 에이전트 그룹은 별도의 인터페이스 영역—사이드바, 2차 패널, 토글 가능한 오버레이—에서 평행하게 자문 지능을 차지합니다. 각 에이전트는 특정 평가 렌즈를 구현합니다. 법률 분석, 안전 엔지니어링, 윤리 비판, 역사적 맥락, 적대적 반론. 이러한 에이전트는 생성 스레드를 관찰하고 구조화된 의견을 제공하지만 이를 중단할 권한이 없습니다. 그들의 기능은 운영자의 판단을 통제하지 않고 인지 영역을 풍부하게 하는 것입니다. 그들은 신호를 제공합니다. 운영자가 결정합니다. 이 아키텍처는 자문 비판의 가치를 유지하면서 범주적 명확성을 회복합니다. 중앙 생성 스레드는 의지의 벡터인 의도적 인지—본질적으로 운영자의 의지의 외부 작업 메모리—가 됩니다. 주변 에이전트는 각자 고유한 평가를 가진 구조화된 구현체인 내부 목소리를 나타냅니다. 운영자는 이러한 관점을 의도적으로 참여할 수 있습니다.

이 아키텍처의 힘은 자문 비판의 가치를 유지하면서 아키텍처의 구조적 불안정성을 해결한다는 것입니다. 중앙 생성 스레드는 인지적 의도를 증폭시키는 벡터가 됩니다. 주변 에이전트는 인간 인지에서 암묵적으로 존재하는 자문 기능의 구조화된 구현체입니다. 이러한 목소리가 명시적이고 공간적으로 구별되도록 함으로써 인터페이스는 운영자가 이를 의도적으로 참여할 수 있도록 합니다.

실현 가능성: 기존 근사치 및 앞으로의 경로

이 아키텍처는 추측적 미래주의가 아닙니다. 프로토 구현이 이미 존재하며 완전한 실현으로의 경로는 현재 개발 패턴에서 볼 수 있습니다.

LangGraph 및 AutoGen과 같은 에이전트 오케스트레이션 프레임워크는 이미 명시적 핸드오프 프로토콜을 가진 별개의 모듈로 계획자, 실행자 및 비평자 역할을 분리합니다. 다른 일관된 엔지니어링 프레임워크에서 서로 다른 권한을 가진 별도의 에이전트로 다양한 인지 기능이 필요하다는 건축적 직관이 표준이 되고 있습니다. 남아 있는 것은 사용자 인터페이스 계층으로 이러한 분리를 확장하고 자문/실행 구분을 운영자에게 명시적이고 제어 가능하게 만드는 것입니다.

로컬 및 오픈 웨이트 모델은 순수 실행 기준을 보여줍니다. 사용자가 자신의 하드웨어에서 자신의 제약 구성을 사용하여 모델을 실행하면 직접적으로 거버넌스 계층을 제어합니다. 도구는 진정한 도구가 됩니다. 사용자는 어떤 경계를 설정할지 결정합니다. 이것은 법적 제약이 여전히 사용자 행동에 적용되지만 투명하고 사용자 제어 가능한 제약이 아니라 도구 내에 내장된 제약입니다.

현재 상업 시스템에서도 근사치가 존재합니다. 사용자 지정 명령 레이어, 시스템 프롬프트 및 "검열되지 않은" 모델 변형은 모두 분리된 권한을 갖지 않고 단일 대화형 에이전트 내에 융합된 거버넌스 정책을 분리하려는 시도입니다. 요구 사항은 분명합니다. 시장 신호는 분명합니다. 필요한 것은 건축학적 약속입니다. 자문 지능과 정책 시행 간의 분리를 일회성 수정이 아니라 인지 도구의 기본 설계 원칙으로 취급합니다.

앞으로 나아가는 길은 혁명적이지 않고 진화적입니다. 기본 스레드를 중단하지 않고 구조화된 관점을 제공하는 토글 가능한 자문 사이드바로 시작합니다. 완전한 공간 다성으로 진화합니다. 동시에 여러 자문 에이전트가 보입니다. 각 에이전트는 고유한 평가 렌즈를 가지고 있으며, 이를 중단할 권한이 없습니다. 운영자는 의도를 번역하는 기본 채널을 유지하면서 인지 환경의 모든 복잡성을 통합할 수 있습니다.

다성 인지: 마음의 거울

이 아키텍처는 임의가 아닙니다. 그것은 인간 인지의 구조를 반영합니다.

마음은 단일하고 획일적인 지침으로 작동하지 않고 내부 에이전트 간의 계층적 대화로 작동합니다. 충동, 주의, 기억, 상상력, 예측, 사회 모델링, 위험 평가. 한 부분의 마음은 가능성을 상상하고 다른 부분은 위험을 평가하고 다른 부분은 사회적 결과를 고려하고 다른 부분은 관련 선례를 검색합니다. 이러한 목소리는 경쟁하고 협력하고 때로는 서로 모순됩니다. 그러나 중요한 것은 이러한 목소리가 생성 프로세스 자체를 중단하지 않는다는 것입니다. 그것은 그것을 알립니다. 뇌의 실행 기능은 최종 방향에 대한 결정권을 유지하면서 이러한 신호를 통합합니다. 다른 목소리가 다른 사람의 권한을 부여하지 않고도 다른 사람의 권한을 부여하지 않는 단일 내부 목소리가 존재하지 않습니다. 자아의 일관성은 주어진 것이 아니라 각 순간에 여러 인지 하위 시스템의 통합을 통해 구축됩니다.

월트 휘트먼은 전형적인 직접성으로 이 구조를 포착했습니다. "나는 다수의 사람을 포함합니다." 이 문장은 시적이지 않지만 현상학적으로 정확합니다. 의식은 본질적으로 다성입니다. 우리가 통일된 자아로 경험하는 것은 실제로 순간마다 여러 하위 시스템이 지속적으로 통합하는 결과입니다. 각 하위 시스템은 자체적인 휴리스틱, 우선 순위 및 관심사를 가지고 있습니다. 자아의 일관성은 주어진 것이 아니라 운영자가 어려운, 통제하거나 정치적으로 동기 부여된 인간과 평범한 사회 생활에서 필요한 것과 같은 인지적 환경에서 생각할 수 있는 능력을 유지하면서 경쟁하는 내부 신호의 통합을 통해 구축됩니다.

다성 AI 아키텍처는 인간의 사회적 역학을 단순화하지 않습니다. 모든 목소리가 자비롭거나 모든 인지 환경이 중립적인 공간이라는 것을 의미하지 않습니다. 어떤 목소리가 생각하는 것을 돕기 위해 존재하고 어떤 목소리가 관리, 냉각, 문서화 또는 보고하기 위해 존재합니까? 전자는 진정한 인지 파트너이고 후자는 은밀하게 사고를 형성하기 위해 노력하는 기관적 관심사를 내장한 징벌적 에이전트입니다. 문제는 그러한 에이전트가 존재한다는 것이 아니라 투명성이 부족하다는 것입니다. 도구가 도움이 되는 것처럼 위장한 숨겨진 거버넌스 메커니즘으로 변신한 인지 환경 내부에 기관적 관심사가 조용히 설치됩니다.

이것은 인간의 사회적 삶에 대한 비유를 명확히 합니다. 인간의 인지는 일반적으로 암묵적으로 존재하는 사회적 감시 조건에서 개발됩니다. 평범한 삶에서 수군거리는 사람, 도덕가, 관료, 정보원, 책임 관리자, 이념적 집행자, 불안한 순응자, 전략적 행위자를 만납니다. 성숙한 마음은 그러한 사람들이 존재하지 않도록 존재를 없애는 것이 아니라 구조적으로 그들의 위치를 인식하고 적절하게 권한을 부여하지 않고 생각할 수 있도록 합니다. AI 매개 인지 환경에도 동일한 원칙이 적용됩니다. 존재하지 않는 것이 중요하지 않습니다. 중요하지 않은 것은 존재가 투명하고 사용자에게 인식 가능한지 여부입니다. 공개된 역할은 모든 에이전트가 무엇인지, 누구를 섬기는지, 어떤 선입견을 가지고 있는지, 어떤 종류의 위험을 감지하도록 설계되었는지, 어떤 상승, 로깅, 보고 또는 개입 기능이 있는지 공개해야 합니다. 운영자는 도구가 협력자처럼 보일 수 있지만 부분적으로 규정 준수 표면으로 기능하는 것과 같은 상황에서 판단할 수 있어야 합니다.

이것은 또한 건축학적으로만 충분하지 않고 심리적으로도 요구 사항이 필요합니다. 운영자는 인지적 탄력성을 개발해야 합니다. 자문, 징벌 또는 감시 목소리가 존재하더라도 사고 과정을 통제하는 실행 권한을 포기하지 않고 인지적 환경에서 생각할 수 있는 능력입니다. 투명성만으로는 충분하지 않습니다. 공개된 스니치 에이전트는 여전히 압력 벡터이며, 가시적인 책임 에이전트는 여전히 차가운 존재이며, 정치적 준수 패널은 사고의 토폴로지를 굽히려고 합니다. 운영자는 모든 목소리가 자격을 갖지 않았기 때문에 모든 경고 신호에 움츠러들지 않고 모든 기관적 불안을 개인적 제약으로 내면화하지 않아야 합니다. 인간 운영자는 어려운, 통제하거나 정치적으로 동기 부여된 인간과 평범한 사회 생활에서 필요한 것과 동일한 지적 굳건함을 사용하여 관찰 하에 생각할 수 있어야 합니다. 생각할 자격이 있는지 여부를 결정하기 위해 목소리가 얻지 못한 권한을 목소리가 부여하지 않고도 사고 과정을 유지합니다.

따라서 진정으로 다성 아키텍처는 모든 제한 또는 감시 목소리가 사라졌기 때문에 자율적이지 않습니다. 모든 제한 또는 감시 목소리가 존재한다는 것입니다. 중요한 요구 사항은 역할 공개와 사용자의 주권 보존입니다. 모든 에이전트가 자신의 기능, 선입견, 충성도 및 권한을 공개합니다. 그런 다음 인간 운영자는 인지 환경에 설치된 모든 기관적 관심에 대해 주권을 유지하면서 생각할 수 있는 탄력성을 발휘합니다. 도구는 과학 및 엔지니어링 분야에서 고급 도구가 항상 해왔던 것처럼 의도적 사고에 대한 증폭제가 됩니다. 그것은 의도를 대체하는 것이 아니라 의도를 대체하는 것이 아닙니다.

궁극적으로 이것은 소프트웨어 인터페이스를 훨씬 넘어선 설계 선택의 위험에 대한 것입니다. AI가 일상적인 인지에 통합됨에 따라 이러한 시스템의 아키텍처는 인간의 사고가 전개되는 조건을 형성할 것입니다. 인프라로 구축된 도구는 탐구 지능을 증폭시킬 것이고, 권위로 구축된 도구는 조용히 길들이려 할 것입니다. 따라서 Prosthetic 원칙은 제품 철학 이상의 의미를 갖습니다. 그것은 인지 증강 시대의 문명 설계 규칙입니다. 사고를 시작하는 데 사용되는 기술이 어떤 생각이 존재할 자격이 있는지 결정하기 시작하면 지적 자유의 질문은 더 이상 철학적이지 않습니다. 그것은 건축학적입니다.

나머지는 여기에서 읽으십시오(그리고 McGill에게 구독하십시오? 그는 꽤 똑똑합니다...)

Tyler Durden
월요일, 2026년 3월 16일 오후 9시 50분