1. 들어가는 말-‘네가 누구인지 기억하라’
밤의 사바나. 별빛만이 내려앉은 연못가에 어린 시절 도망쳤던 왕자가 서 있다. 그는 이미 어른이 되었지만 자신이 누구였는지를 잊은 채 살아가고 있다. 라피키는 말없이 그를 물가로 이끈다. 수면을 들여다본 심바가 중얼거린다. ‘그건 내 아버지가 아니야. 그저 내 모습일 뿐이야.’ 라피키가 손가락으로 물결을 흔들자 잔물결 위로 심바의 얼굴이 천천히 무파사의 형상과 겹쳐진다. 곧이어 별빛 사이의 구름이 일어서며 거대한 사자의 음영이 드러나고 무파사의 음성이 사바나의 정적을 가른다. 그는 아들에게 자신이 누구인지를 기억하라고 말한다. 이 장면의 핵심은 한 문장으로 응축된다. ‘네가 누구인지 기억하라.’
‘라이온 킹’의 이 묵직한 명령은 한 마리 사자의 귀환을 다룬 서사적 차원에 국한되지 않는다. 이는 피지컬 AI 시대를 살아가는 우리 모두에게 부과되는 하나의 준엄한 정언명령으로 자리한다. 지난 십여 년 동안 우리는 AI가 무엇을 할 수 있는가를 묻는 데 오래 머물러 왔다. 그러나 피지컬 AI는 이미 스크린 안의 계산 장치를 넘어섰다. 그것은 인간과 같은 공간을 점유하고 인간의 신체와 환경에 직접 개입하기 시작했다. 그렇기에 우리는 이전과는 다른 더 근본적인 질문을 던져야 한다.
그 행위를 명령하는 주체는 누구인가. 그 행위의 목적은 무엇인가. 그 결과에 책임지는 존재는 누구인가. 그 행위는 정말 인간의 통제 아래 있는가. 그리고 가장 놓치지 말아야 할 질문인 우리는 이 모든 것을 통제한다고 말하는 동안 정작 우리 자신이 누구인지를 기억하고 있는가이다.
이 마지막 질문은 회의적인 물음이라기보다 기계가 인간 세계에 들어올 때 인간이 끝까지 양도해서는 안 될 것이 무엇인지를 다시 한번 분명히 하라는 요청이다. 피지컬 AI 시대의 통제 문제는 기계를 어떻게 다룰 것인가의 문제가 아니다. 그것은 인간이 자기 행위의 주체로 남기 위해 어떤 권한과 책임을 끝까지 보유해야 하는가의 문제다.
2. 통제의 축이 바뀌었다- 정지는 통제의 전부가 아니다
피지컬 AI 시대 고도화된 비상정지 장치가 매우 긴요하다. 로봇 팔이 잘못 움직일 때, 자율주행 시스템이 위험한 판단을 할 때, 의료 로봇이 예상치 못한 경로로 작동할 때, 물리적으로 작동을 멈출 수 있는 장치는 여전히 필수적이다. 그러나 그것만으로는 충분하지 않은데 피지컬 AI는 입력된 명령을 반복하는 기계가 아니기 때문이다.
특히 에이전틱 AI와 결합될 때 그것은 명령을 해석하고 목표를 분석하고 실행 순서를 정하며 외부 시스템을 호출해 실제 행위로 옮긴다. 이때 통제의 핵심은 ‘움직임을 멈출 수 있는가’에만 있지 않다. 더 중요한 질문은 ‘누가 명령할 수 있는가’, ‘어떤 명령은 거부되어야 하는가’, ‘어디까지 자율적으로 실행할 수 있는가’, ‘그(그녀)가 권한을 부여 받은 명령자임을 기계는 어떻게 판명하는가’, ‘결과에 대한 책임은 누구에게 귀속되는가’이다.
피지컬 AI는 인간의 명령을 세계 안에서 직접 실행하는 도구라고 가정할 때 AI가 명령을 해석해 행동으로 번역하고 그 행동이 인간의 신체·공간·이동·의료·노동에 영향을 미치는 순간 통제의 문제는 기술의 문제가 아니라 권한과 책임의 문제로 전환된다. 자율주행차 안에서 '집으로 가줘'라고 말한 사람이 차주인지, 동승자인지, 미성년자인지 구분되지 않는다면, 이는 편의 기능의 완성도에 관한 문제가 아니라 범죄로 이어질 수 있는 보안의 문제다.
병원 AI가 ‘진통제를 투여하라’는 음성 명령을 받았을 때 그것이 담당 의료진의 승인인지 검증되지 않는다면 문제는 자동화의 효율이 아니라 생명과 의료 책임의 귀속이다. 피지컬 AI가 실제 세계에서 행위를 수행하는 순간 통제는 사후 정지 장치만으로는 부족하며 사전 설계 단계에서 목적, 권한, 행위 범위, 책임을 함께 제한하는 구조로 확장되어야 한다. 따라서 피지컬 AI의 통제는 다음의 네 층위에서 다시 설계되어야 한다.
첫째는 목적 통제로 AI가 무엇을 위해 작동하는가의 문제다. 생산성·속도·효율은 정당한 설계 목표지만, 그것이 인간의 존엄과 안전을 압도하는 순간 목표는 이미 잘못 설정된 것이다.
둘째는 권한 통제이다. 누가 AI에게 명령할 수 있는가, 어떤 명령은 원천적으로 거부되어야 하는가, 어떤 명령에는 추가 인증과 인간의 명시적 승인이 선행되어야 하는가. 이 세 질문에 대한 답이 시스템 설계 안에 사전에 새겨져 있어야 한다.
셋째는 행위 범위 통제로 AI가 어디까지 자율적으로 판단하고 실행할 수 있는가의 문제다. 물리적 행위의 범위는 사전에 명확히 제한되어야 하고 그 행위는 사후에 빠짐없이 추적 가능해야 한다. 자율성의 반경이 불분명한 시스템은 안전하지 않다.
넷째는 책임 통제로 사고 이후 개발자·제조자·배포자·운영자·기관·사용자가 각각 어떤 책임을 지는가에 대한 책임의 지도를 미리 예상해 두어야 한다는 의미다. 책임 구조가 복잡하다는 이유로 책임 자체가 증발해서는 안 된다. 복잡성은 면책의 근거가 될 수 없다.
이 네 가지 통제는 기술적 안전장치만으로 완성되지 않는다. 그것은 제도·윤리·법·조직 문화가 함께 묶인 규범적 구조이며 기술은 그 구조 안에서만 신뢰받을 수 있다.
3. 드워킨으로 다시 묻다 - 통제는 정책이 아니라 원칙의 문제다
피지컬 AI는 효율성의 이름으로 인간의 신체와 생활공간에 직접 개입하기 때문에 그 정당성은 평균적 편익이 아니라 침해될 수 없는 권리의 한계 안에서 먼저 심사되어야 한다. 자율주행 시스템이 평균 사고율을 낮춘다 해도 장애인·고령자·어린이 보행자에게 더 큰 위험을 전가한다면, 그 기술은 편익만으로 정당화될 수 없다. 의료 AI가 평균 진단 정확도를 높인다 해도 환자가 설명을 듣고 거부할 기회를 잃는다면 그것은 의료 혁신이 아니라 자기결정권의 침해다.
드워킨은 법을 여러 규칙의 임시적 타협이 아니라 공동체가 구성원을 일관된 원칙에 따라 대우하려는 해석적 질서로 보았다. 그에게 법의 통합성은 국가가 시민들이 정의와 공정성의 올바른 원칙을 두고 의견을 달리하더라도, 하나의 일관된 원칙 체계에 따라 행위해야 한다는 요구와 관련된다(Dworkin, 1986).
이 관점에서 보면 자율주행차, 수술 로봇, 돌봄 로봇, 군사 드론, 재난 로봇에 관한 규제는 각기 다른 부처와 제도 안에 흩어져 있을 수 있다. 그러나 그 밑바탕에는 하나의 도덕적 서사가 흘러야 한다. 즉 인간은 평균값에 흡수될 수 없는 권리의 주체라는 점이다. 드워킨의 법의 통합성에 따르면, 시민의 권리와 의무는 개별 법 조항의 산물이 아니라 공동체가 전제하고 승인해 온 원칙의 체계 안에서 해석되어야 한다(Dworkin, 1986).
따라서 인간은 기계가 산출한 결과를 사후적으로 통보받는 객체가 아닌 그 이유를 묻고 거부하고 책임을 요구할 수 있는 존재가 되어야 한다. 이 원칙이 없다면 규제는 조항의 목록에 머물게 된다. 더욱이 그 바탕에 인간 존엄에 관한 일관된 원칙이 없다면 그 법체계는 기술적으로는 정교해도 도덕적으로는 빈약하게 된다.
4. 결론-우리가 양도하지 말아야 할 것
피지컬 AI는 인간의 생명·신체·이동·돌봄·의료·노동 현장에 직접 들어오기 때문에 AI 기본법만으로 완결되기 어려운 영역이다. 이에 고영향 AI의 범위, 사전 위험평가, 인간 개입권, 설명 가능성, 사고 조사, 피해 구제, 책임 귀속을 더 정교하게 설계해야 한다.
특히 한국 사회가 물어야 할 질문은 단지 ‘어떤 기술을 허용할 것인가’라기보다 ‘어떤 기술도 넘을 수 없는 인간의 경계는 무엇인가’다. 이 경계가 분명하지 않으면 기술 발전은 매번 예외를 요구하고, 예외는 곧 관행이 되며, 관행은 결국 원칙을 밀어낸다. 그러므로 느린 법이 빠른 기술을 따라잡는 유일한 방법은 모든 세부 기술을 미리 예측하는 것이 아니라 어떤 기술이 등장하더라도 양보할 수 없는 인간의 기준을 세우는 것이다.
거듭 강조하지만 피지컬 AI 시대의 마지막 질문은 ‘AI에게 무엇을 맡길 수 있는가’가 아니다. 더 정확한 질문은 ‘인간이 결코 위임해서는 안 되는 것은 무엇인가’이다. 우리는 계산을 위임할 수 있다. 반복 노동을 위임할 수 있다. 위험한 환경에서의 작업을 위임할 수 있다.
그러나 인간의 존엄을 판단하는 최종 기준, 권리 침해를 감수해도 되는지에 대한 결정, 책임질 주체를 정하는 일까지 AI에 위임할 수는 없다. 이 세 영역은 위임 불가능한 원칙의 영역이다. 드워킨의 ‘권리라는 으뜸패’가 작동하는 자리도 다름 아닌 이곳이다. 인간은 효율을 위해 희생될 수 있는 변수가 아니다. 인간은 통계적 평균으로 환원될 수 있는 대상도 아니다. 인간은 자기 삶의 의미를 묻고 결정에 이의를 제기하며 책임을 요구할 수 있는 존재다.
그러므로 피지컬 AI를 통제한다는 것은 로봇을 두려워해 멈추는 일이 아니다. 그것은 인간이 인간으로 남기 위해 어떤 원칙을 양보하지 않을 것인지를 정하는 일이다. 무파사의 음성이 심바에게 왕의 자격보다 먼저 정체성을 기억하라고 말했듯, 피지컬 AI 시대의 규제도 기술의 능력보다 먼저 인간의 자리를 기억해야 한다.
통제의 본질은 기계의 동작을 멈추는 물리적 힘에 있지 않다. 그것은 어떤 상황에서도 기계가 인간의 존엄을 넘어서지 못하게 하는 규범적 구속력에 있다. 우리가 통제해야 할 것은 결국 기계만이 아니다. 우리가 통제해야 할 것은 기계를 향한 우리의 욕망이고, 기계에 위임하려는 우리의 충동이며, 효율이라는 이름으로 인간의 자리를 잊어버리는 우리의 이야기다.
‘네가 누구인지를 기억하라.’ 이것은 기술적 확장의 한복판에서 인간이 스스로에게 되돌려야 할 윤리적 명령이다. 우리가 우리 자신이 어떤 존재인지 잊지 않는 것. 그것이 통제의 시작이며 끝이지 않을까?
*본 칼럼 내용은 본지 편집방향과 다를 수 있습니다.
