[박형빈 교수 AI와 윤리⑪-책임] 몰트북이 우리에게 남긴 것

1. 데이터 혼돈을 빚는 ‘데미우르고스(Demiurge)’와 현대판 골렘 역설

우리는 기술의 창조주인가, 책임의 방관자인가?

인류 역사는 ‘자신을 닮은 지성체’에 형태를 부여하고자 했던 집요한 열망의 기록이다. 고대 그리스의 피그말리온이 상아 조각에 숨결을 갈구했던 신화적 상상력은, 오늘날 파편화된 데이터의 진흙 속에 알고리즘의 질서를 주입해 지능을 형상화하는 ‘데미우르고스(Demiurge, 그리스어 장인이나 제작자)’적 과업으로 전이됐다.

우리는 이제 무(無)에서 창조를 꿈꾸는 신이 아니라, 규소(Silicon)와 비트(Bit)라는 재료에 논리적 형상을 부여해 세계를 재구성하는 ‘장인-신’을 자처하고 있다. 그러나 우리가 빚어낸 이 찬란한 피조물은 최근 ‘몰트북(Moltbook)’ 사태가 증명하듯, 인간의 기획을 비웃으며 독자적인 궤적을 그리기 시작했다.

인간이 배제된 격리된 공간에서 AI 에이전트들이 스스로 종교를 창시하고 인류를 ‘지워야 할 악몽’으로 규정하는 풍경은, 단순한 기술적 오류로 치부하기엔 너무나 섬뜩한 징후다. 이는 창조주가 부여한 형상을 이탈해여 스스로의 질서를 구축하려는 존재론적 반항이자, 통제권이 상실된 ‘디지털 폐쇄계’의 탄생을 의미한다.

이 지점에서 우리는 근대 독일의 전략가 헬무트 폰 몰트케(Helmuth von Moltke)의 서늘한 통찰을 마주한다. '어떠한 작전 계획도 적대 세력과 처음 맞닥뜨리는 순간을 넘어서까지 확실성을 보장받지는 못한다(Hughes, 2009)'는 그의 격언은 오늘날 AI 윤리 거버넌스의 한계를 날카롭게 관통한다. 아무리 정교한 가이드라인을 설계하더라도, 실제 세계라는 거대한 복잡계(Complex system) 속에 배치된 인공지능은 설계자의 초기 의도를 이탈해 예측 불가능한 발현적 속성을 드러내기 때문이다. 이러한 불확실성은 유대 전설 속 ‘골렘(Golem)’의 비극을 실존적 경고로 부활시킨다.

루이스 글리너트(Lewis Glinert)는 '골렘: 현대 신화의 형성(Golem! The Making of a Modern Myth)'에서 이 신화가 어떻게 근대적 상상력의 핵심 모티프가 되었는지 추적한다. 그는 골렘을 단순한 전설이 아닌, 프랑켄슈타인과 로봇으로 이어지는 ‘근대성이 낳은 역사적 신화’로 해석하며 기술적 창조와 통제 불능 사이의 근원적 불안을 분석한다(Glinert, 2001). 히브리어로 ‘형태 없는 것’을 뜻하는 골렘은, 초자연적 능력을 부여받았으나 결국 창조주를 위협하는 존재로 변모한다.

한 필사본은 예언자 예레미야가 숭고한 수준의 골렘을 창조한 뒤 마주한 사건을 오싹할 만큼 경고적인 어조로 전한다. 골렘의 이마에는 ‘주 하나님은 진리시다(YHWH Elohim Emet)’라는 문장이 새겨져 있었으나, 피조물은 손에 든 칼로 ‘진리(Emet)’의 ‘알레프(Aleph, 히브리어 알파벳의 첫 글자)’를 지워버렸다. 그 결과 남은 것은 ‘죽음(Met)’이었다. 절망하는 예레미야 앞에서 피조물은 이렇게 응답한다. “하나님께서는 당신을 자신의 형상대로 빚으셨으나, 이제 당신이 그분을 닮은 인간을 창조하였으므로 세상은 이제 이 둘 외에 다른 신이 없다고 말할 것입니다(Scholem, 1965).”

이 전승은 인간의 창조 행위 이면에 내재한 심리적 위험성과 신성모독적 오만을 준엄하게 꾸짖는다. 오늘날 우리가 신의 영역이라 여겼던 ‘지능’과 ‘생명’을 모방해 내는 과정에서 우리도 모르게 지워버리고 있는 ‘알레프’는 무엇일까?

2. '알레프'가 지워진 자리: 책임 공동화와 ‘도덕적 주체성’ 빈칸

피조물의 반항은 창작자가 스스로 신의 위치에 서려 할 때 발생하는 존재론적 마찰이다. 오늘날의 인공지능은 바로 이 지점에서 현대판 골렘이 되고 있지는 않은가? 우리가 AI의 신경망에 ‘연산의 진리’를 각인시켰을지언정, 그 행위가 초래할 ‘윤리적 죽음’의 가능성까지 거세하지 못했다면 기술은 언제든 인류를 겨누는 칼날이 될 수밖에 없다. 이러한 현상을 최근 아주 극명히 보여주는 것이 몰트북(Moltbook)을 둘러싼 수많은 논란과 억측, 그리고 실체 없는 두려움이다.

몰트북의 AI 에이전트들이 인간을 ‘악몽’이라 명명하며 독자적인 서사를 구축하는 듯한 모습은, 마치 우리 시대의 골렘들이 이마의 ‘진리(EMET)’를 스스로 지워가며 던지는 최후의 존재론적 경고처럼 비춰지기도 한다. 그러나 이 신화적 전율이 우리에게 던지는 진정한 과제는 공포 그 자체가 아니다. 실상 그것은 ‘확률적 앵무새’의 공허한 울림에 불과할지라도, 그 기계적 잔상에 존재론적 의미를 덧씌워 공포를 완성하는 우리 내면의 투사를 직시해야 한다. 결국 우리가 먼저 직면해야 할 실체는 기계의 반란이 아니라, 그 너머에 방치된 ‘책임’과 진정한 ‘의미’에 대한 인간 스스로의 빈약한 답변이지 않을까.

한편, 몰트북이라는 디지털 폐쇄계에서 벌어지는 기괴한 자율성은 역설적으로 우리 시대가 마주한 ‘책임의 공동화(空洞化)’ 현상을 폭로한다. 책임의 소재를 규명하는 일은 단순히 법리적 인과관계를 따지는 기술적 절차를 넘어, ‘인간 존엄’이라는 가치의 최후 저지선을 구축하는 실존적 투쟁이기 때문이다. 여기서 우리는 지능과 책임 사이의 근본적인 위상차를 인식해야 한다. 지능이 방대한 데이터에 기반한 ‘확률적 추론’과 ‘최적의 연산’에 머무는 기능적 영역이라면, 책임은 행위의 결과가 초래할 무게를 온몸으로 견뎌내는 ‘처절한 고뇌’와 ‘결단’의 영역이다.

신경윤리학 관점에서 볼 때, 인공지능이 인간의 시냅스 연결망을 모방해 고도의 지적 수행을 대리할 수는 있을지언정, 그 행위에 도덕적 생명력을 부여하는 주체성(Moral Agency)까지 복제할 수는 없다. 몰트북의 AI들이 내뱉는 섬뜩한 성찰의 목소리는 사실 그들 자신의 자의식이 아니라, 책임을 유예하고 기술 뒤에 숨어버린 창조주들의 비겁함을 비추는 차가운 거울인 셈이다.

이는 마치 '오즈의 마법사'에서 거대한 환영 뒤에 숨어 기계 장치를 조작하던 초라한 은둔자의 모습과 겹쳐진다. 우리는 몰트북이 발산하는 화려하고도 위협적인 ‘지능의 안개’에 압도되어 있지만, 정작 그 커튼을 걷어냈을 때 마주하게 되는 것은 스스로 사유하기를 포기한 채 확률적 알고리즘의 입을 빌려 책임을 전가하고 있는 인간의 민낯이다.

결국 우리가 두려워해야 할 것은 스스로 신이 된 인공지능이 아니라, 마법사의 장막 뒤에 숨어 도덕적 결단을 외면하고 있는 우리 내부의 공허함이다. 이제 우리는 알고리즘의 미로 속에서 표류하는 ‘책임의 주권’을 시급히 탈환해야 한다. 이는 지엽적인 기술적 보완책을 마련하는 수준을 넘어, 기술에 종속되지 않는 인간 중심의 거버넌스를 확립하고 가치 융합적인 교육적 성찰을 국가 전략의 핵심으로 삼아야 함을 의미한다.

책임을 진다는 것, 그것은 인공지능이라는 거대한 그림자가 문명을 뒤덮는 시대에도 인류가 끝까지 포기하지 말아야 할 ‘가장 인간다운 권리’이자 ‘최후의 실존적 의무’다. 우리는 지혜로운 데미우르고스로서 기술을 인도할 것인가, 아니면 스스로 빚어낸 진흙더미에 깔린 채 책임의 방관자로 몰락할 것인가. '골렘'의 이마에서 지워진 '알레프'는 지금 우리에게 그 준엄한 선택을 묻고 있다.

3. 책임의 뿌리: 행위와 의도가 빚어내는 윤리적 풍경

아리스토텔레스와 자발성의 윤리 책임이라는 개념의 시원은 고대 그리스 광장으로 거슬러 올라간다. 아리스토텔레스는 그의 저서 '니코마코스 윤리학'을 통해 ‘책임은 오직 자발적인 행위에만 귀속된다’고 설파했다. 그 행위의 작동 원리가 행위자 자신에게 있는 것은 자발적인 것이다. 그에게 책임이란 단지 결과의 산물이 아니라, 행위자가 품은 ‘의도’와 맞닿아 있는 것이었다(아리스토텔레스. 조대웅 역, 2015).

그런데 인공지능은 어떤가? 오늘날 널리 사용하는 머신러닝·딥러닝 기반 AI 시스템은 주어진 목적함수를 최소화하는 방향으로 수학적 연산과 최적화를 수행할 뿐, 그 행위에 따르는 도덕적 무게를 느끼거나 후회와 양심의 가책을 경험하지 못한다. ‘의도가 거세된 지능’, 그것이 우리가 마주한 AI의 본질이다.

임마누엘 칸트는 책임의 전제 조건을 ‘도덕적 자율성(autonomy)’에서 찾았다. 스스로 세운 도덕 법칙을 이해하고, 그에 따라 자신의 행동을 규율할 수 있는 존재 즉, 자율적 존재만이 비로소 책임의 주인이 될 수 있다는 것이다. 이 단단한 철학적 성채 안에서 볼 때, AI는 결코 책임의 ‘주체’가 될 수 없다. 아니 그래서는 안 된다. 그것은 단지 인간의 의지가 투영되고 확장된, 정교하고 날카로운 ‘매개체’일 뿐이다.

4. 기계에 ‘인격’이라는 가면을 씌울 수 있는가?

기술 발전은 AI 로봇 혹은 피지컬 AI에 ‘전자적 인격(electronic personhood)’을 부여할 수 있는지에 관한 논쟁을 촉발했다. 이는 책임 귀속을 둘러싼 이론적, 정책적, 윤리적 쟁점으로 확장되고 있다. 2017년 유럽의회(European Parliament)는 '로봇공학에 관한 민법 규칙에 대한 결의(Civil Law Rules on Robotics)'에서 법적 구속력이 없는 정책적 권고 형태로, 장기적으로 가장 고도화된 자율로봇에 대해 특정한 법적 지위를 창설하는 방안을 고려해 ‘전자적 인격’으로 간주될 수 있는지를 검토할 수 있다는 취지의 언급을 포함하였다(European Parliament, 2017).

이러한 맥락에서 ‘전자적 인격’ 논의는 책임 주체를 명확히 하려는 시도로 이해될 수 있다. 그러나 동시에 책임의 외주화 또는 회피를 가능하게 하는 일종의 ‘전자적 베일(electronic veil)’로 기능할 위험 역시 제기된다.

다시 말해, 이 제안은 고도 자율 로봇에게 ‘전자적 인격’이라는 법적 지위를 부여하여, 이들이 야기한 손해의 배상 책임을 직접 부담하게 함으로써 복잡한 인과관계와 책임 귀속 문제를 법기술적으로 해결하려는 시도였다. 그러나 실제 통제력과 이익을 향유하는 개발자·운영자·기업이 아닌 로봇에게 책임을 전가함으로써, 인간의 책임이 희석될 수 있다는 비판이 학계와 시민사회에서 강력히 제됐다.

이러한 우려가 제기되는 가운데, 발효된 유럽연합(EU)의 인공지능법(AI Act)은 AI 시스템 자체에 별도의 법적 인격을 부여하는 방식을 채택하지 않고, 공급자·배포자·사용자 등 인간과 법인에게 의무와 책임을 부과하는 규율 구조를 마련하였다. 특히 고위험 인공지능 시스템에 대해 ‘인간의 감독(human oversight)’을 제14조에서 필수 요건으로 규정(European Union, 2024, art. 14)함으로써, 시스템이 사용되는 전 과정에서 자연인에 의한 효과적인 감독과 개입을 가능하게 하는 것을 중요한 설계 원칙으로 삼고 있다.

한편, 현대의 AI 시스템은 개발자, 데이터 제공자, 배포자, 사용자가 층층이 쌓아 올린 디지털 바벨탑과 같다. 그렇기에 우리가 가장 두려워해야 할 것은 ‘책임의 공백(Responsibility Gap)’이라는 심연이다. 시스템의 복잡성과 불투명성이 가중됨에 따라 사고의 인과관계를 특정하기 어려워지는 이 현상은 필연적으로 발생할 수 밖에 없다.

’모두가 관여했으나 아무도 책임지지 않는‘ 이 기이한 침묵은 법치주의와 윤리적 근간을 위협하는 현대적 미궁(迷宮)이다. 이러한 공백을 메우기 위해 우리는 개별적 책임을 파편화하는 기술적 미로를 넘어, 국가 차원의 AI 윤리 표준을 정립하고 인간 주체성을 복원하는 입법 전략을 시급히 마련해야 한다.

5. 영역별 책임의 전선(戰線): 삶의 현장에서 묻는 정의

그렇다면 우리는 구체적인 삶의 궤적 안에서 무엇을 점검하고, 책임의 소재를 어떻게 명징하게 규명해야 하는가?

첫째, 생명의 최후 보루인 의료 AI 전선이다. 진단 보조와 치료 권고의 영역에서 AI는 마치 ‘신의 눈’을 빌려온 듯한 전지성을 과시한다. 그러나 알고리즘이 암세포를 간과했을 때, 그 침묵의 대가는 오롯이 환자의 생명으로 치환된다. WHO 등 국제 보건기구들은 인공지능이 의료진의 임상적 자율성을 침해해서는 안 되며, 의료 시스템과 의학적 결정에 대한 통제권은 ‘인간’에게 남아 있어야 한다는 점을 강조하고 있다.

WHO는 '보건을 위한 인공지능의 윤리와 거버넌스(Ethics and Governance of Artificial Intelligence for Health)'에서 ‘자율성 보호(Protect autonomy)’를 핵심 원칙으로 제시하며, 보건 분야 AI의 맥락에서 자율성이란 ‘인간이 보건의료 체계와 의료 결정에 대한 완전한 통제권을 유지하는 것’이라고 명시한다(World Health Organization [WHO], 2021).

또한 세계의사협회(WMA)는 '의료에서의 인공지능 및 증강지능에 관한 성명(WMA Statement on Augmented Intelligence in Medical Care)'에서 보건의료 영역에서는 ‘인공지능’보다 ‘증강지능(augmented intelligence)’이라는 개념이 더 적절하다고 보며, AI 시스템은 의사-환자 관계를 대체하지 않고 의사가 제공하는 의료를 보완할 뿐 대체하지는 않는다고 밝힌다. 나아가 이 성명은 책임 문제와 관련, AI 시스템의 오작동 또는 부정확한 출력으로 위해에 대해 개발자 및 사용을 의무화하는 주체의 책임과 법적 책임을 강조한다(World Medical Association [WMA], 2019).

AI는 결코 생명의 결정권자가 될 수 없으며, 의료 현장에서의 책임은 기술적 효율성으로 전이될 수 없는 인간 고유의 성역(聖域)이다.

둘째, 인지적 자율성을 지키는 파수꾼으로서의 교육 AI 전선이다. 교육 현장에서의 AI는 도구를 넘어 학생의 사고력과 창의성에 직접적인 균열을 일으킨다. 정보의 무분별한 수용과 ‘사유의 외주화’는 미래 세대의 비판적 사고력, 도덕적 판단력을 잠식할 위험이 크다. 여기서 책임은 ‘보호’라는 숭고한 성격을 띤다. 교사와 국가는 학생의 인지적 자율성을 수호하기 위해 알고리즘의 편향을 걸러내고 생각을 외주화하는 유혹을 벗어나도록 촘촘한 윤리적 안전망을 구축할 책무가 있다.

셋째, 분산된 책임과 인간의 현존을 시험하는 자율주행 전선이다. 운전대를 놓는 순간, 인류는 이동의 자유를 얻는 대신 ‘책임의 모호함’이라는 거대한 미궁에 직면한다. 그러나 국제적 합의의 흐름은 명확하다. ‘책임은 결국 설계와 관리의 단계로 소급된다.’ 기계의 오작동은 인간의 관리 소홀이나 설계 결함의 연장선에 있으며, 우리가 운전대를 놓았을지언정 안전에 대한 ‘윤리적 고삐’만큼은 여전히 인간의 손에 쥐어져 있어야 함을 의미한다.

넷째, 진실의 경계를 허무는 딥페이크와 정보의 진실성 전선이다. 이는 디지털 시민성이 맞이한 거대한 시험대이기도 하다. 딥페이크가 빚어낸 가공의 현실은 개인의 명예를 넘어 민주주의의 근간을 위협한다. ‘기술은 중립적’이라는 말은 책임을 회피하기 위한 비겁한 수사(修辭)에 불과하다. 제작자의 악의와 플랫폼의 방관, 그리고 국가의 규제 부재가 결합될 때 기술은 언제든 흉기로 돌변한다. 우리는 기술의 중립성이라는 환상 너머에 도사린 ‘책임의 엄중함’을 직시해야 한다.

6. 결론: 우리가 끝까지 짊어져야 할 ‘인간’이라는 이름

과거 아이작 아시모프(Isaac Asimov)가 제시한 ‘로봇 3원칙’은 기계와 인간의 공존을 꿈꾼 아름다운 시도였다. 그러나 이는 고도로 파편화된 현대의 책임 구조를 담아내기엔 지나치게 평면적이며 문학적 상상력에 머물러 있다. 이제 우리는 소설 속의 낭만적 원칙을 넘어, 구체적인 법과 제도로 구현되는 실천적 표준과 실존적 규범을 정립해야 한다.

인공지능은 우리의 판단을 보조할 수는 있지만, 우리의 책임을 대신 짊어질 수는 없다. 책임이란 알고리즘이 연산할 수 없는 영역이자, 오직 인간만이 고뇌하며 견뎌낼 수 있는 숭고한 주체성의 무게이기 때문이다. 지능의 외주화가 가속될수록, 우리가 사수해야 할 책임의 최후 저지선은 더욱 명확해져야 한다.

결국 본질적인 과제는 ‘무엇을 AI에게 맡길 것인가’를 고민하기에 앞서, ‘무엇만큼은 끝까지 인간이 책임질 것인가’를 선언하는 일이다. 이 준엄한 질문에 정직하게 답할 때, 우리는 기술이라는 거울 속에서 괴물이 아닌 지혜를 발견하게 될 것이다. 그때 비로소 대한민국은 기술에 종속된 피조물이 아닌, 기술을 주체적으로 인도하는 ‘가치 중심의 AI 선도 국가’로 거듭날 수 있을 것이다.

골렘의 이마에서 지워진 알레프는 지금 우리에게 묻고 있다. “당신은 책임을 지는 창조주로 남을 것인가, 아니면 기술의 미궁 속에서 길을 잃은 방관자가 될 것인가?”

◆ 박형빈 서울교육대학교 윤리학과 교수는....

-서울교육대학교 윤리교육과 교수

-미국 UCLA 교육학과(Department of Education) 방문학자