[박형빈 교수 AI와 윤리⑧-공정] 데이터는 있는 그대로 현실 아닌 측정 현실

알고리즘, ‘판단 존재’ 아닌 ‘판단 구현 구조'...공정, 수학적 계산 아닌 인간 윤리 성찰

1. 디지털 판관 등장과 공정함의 딜레마

아리스토텔레스는 '니코마코스 윤리학(Ethika Nikomacheia, Nicomachean Ethics)' 제 5권에서 정의(Justice)를 다뤘는데, 그중 분배적 정의를 비례적 평등으로 규정하며 ‘동등한 자들이 동등하지 않은 몫을 받거나 동등하지 않은 자들이 동등한 몫을 받을 때 다툼이 발생한다(Aristotle, 350 B.C.E./1926)’고 설명했다.

이는 흔히 ‘같은 것은 같게, 다른 것은 다르게 대우하는 것’으로 요약된다. 이 오래된 명제는 인공지능(AI) 시대에 들어와 새로운 난제로 우리에게 다가온다. 우리는 흔히 '사람보다 감정이 없는 기계가 더 공정하지 않을까?'라고 말한다. 그런데 정말 그러할까? 이는 과연 충분한 근거를 갖춘 판단일까?"

누군가를 채용하고, 누군가에게 대출을 승인하며, 누군가를 선발하고 복지 혜택을 배분하는 과정에 이르기까지, 오늘날 알고리즘은 인간 판단을 대신하거나 최소한 그 판단을 ‘보조’하는 핵심적 의사결정 주체로 자리 잡았다. 과거에는 전문가가 투입된 제도적 심의 과정이 담당하던 영역이 이제는 데이터와 모델, 그리고 점수와 확률로 환원되고 있다. 이 지점에서 우리는 영화 가타카(Gattaca, 1997)가 그려낸 디스토피아를 다시 떠올릴 필요가 있다.

유전자 정보를 기반으로 개인의 잠재력과 사회적 지위를 미리 결정하는 그 세계는 허구처럼 보였지만, 오늘날 알고리즘에 의해 면접에서 탈락하고, 신용평가 점수로 대출이 거절되며, 자동화된 추천 시스템에서 배제되는 우리의 현실과 놀라울 만큼 닮아 있다. 차이는 유전자가 데이터로, 생물학적 숙명이 통계적 확률로 바뀌었을 뿐이다.

우리는 종종 알고리즘을 인간의 편견을 제거한 ‘객관적 판관’으로 상상한다. 그러나 실제로 알고리즘은 결코 중립적이지 않다. 이는 기술이 아직 완성되지 않았기 때문만도, 데이터가 충분하지 않기 때문만도 아니다. 알고리즘은 본질적으로 과거의 데이터, 사회적 관행, 제도적 가치 판단을 학습하고 재현하는 체계이기 때문이다. 다시 말해, 알고리즘은 사회가 이미 가지고 있던 불평등과 규범을 수치화하여 더욱 정교하고 은밀한 방식으로 반복한다.

문제는 이러한 판단 과정이 점점 더 불투명해지고 있다는 데 있다. 인간 심사자의 결정은 최소한 설명과 항의, 수정의 여지를 남기지만, 알고리즘 판단은 ‘시스템의 결과’라는 미명하에 쉽게 정당화된다. 그 결과, 책임의 주체는 흐려지고, 불이익을 받은 개인은 왜 탈락했는지, 무엇을 개선해야 하는지조차 알기 어려워진다. 알고리즘은 판단을 자동화해 중립성을 가장하고, 그로써 결과에 대한 책임을 분산·비가시화하여 책임 문제를 비정치화한다.

따라서 오늘날의 핵심 쟁점은 알고리즘을 사용할 것인가의 문제가 아니라, 어떤 가치와 윤리적 기준을 내재한 알고리즘을 어떻게 설계하고 통제할 것인가에 있다. 효율성과 정확성만으로는 공정한 의사결정을 보장할 수 없다. 인간 사회의 판단은 언제나 맥락적이며 관계적이고, 때로는 예외를 고려하는 도덕적 숙고를 필요로 한다. 알고리즘이 이러한 판단을 ‘보조’한다면, 그 역시 기술적 성능 뿐 아니라 사회적 정당성과 윤리적 책임의 틀 안에서 평가돼야 한다.

알고리즘은 '미래의 판관'이 아니라 이미 '현재의 권력'이다. 우리가 지금 이 권력을 어떻게 이해하고 규율하느냐에 따라, 데이터 기반 사회는 새로운 기회의 장이 될 수도, 또 하나의 '가타카'가 될 수도 있다.

더 정확히 말하면, 알고리즘은 ‘판단하는 존재’가 아니라 ‘판단을 구현하는 구조’다. 그리고 구조는 언제나 가치 선택을 내포한다. 즉, 알고리즘의 공정은 자연적으로 주어지는 성질이 아니라 ‘사회가 무엇을 공정이라 부를지 결정한 뒤에야 비로소 기술로 구현되는 결과’다. 여기서 딜레마가 시작된다. 사람을 불신해 기계를 택했는데, 그 기계가 다시 인간의 가치와 편견을 증폭시킨다면, 그런 우리는 무엇을 믿어야 하는가.

박형빈 서울교육대학교 교수

2. 편향의 기원과 권력: 데이터는 과거를 기억한다-편향으로 가득한 세상에서, AI는 공평할 수 있을까?

알고리즘의 비중립성은 데이터 편향(Data Bias)을 포함한 문제 정의, 모델 구조, 훈련 과정 등 다층적 요인에서 발생한다. 머신러닝 알고리즘은 훈련데이터에 포함된 통계적 패턴과 관계를 학습해 새로운 데이터에 대한 예측이나 분류를 수행한다.

2018년 보도에 따르면, 아마존은 과거 약 10년에 걸쳐 축적된 이력서 데이터를 학습시켜 지원자를 1점에서 5점까지 별점으로 평가하는 AI 기반 채용 도구를 시험적으로 개발 및 운영했다. 그러나 이 시스템은 주로 남성 지원자의 이력서로 구성된 데이터를 바탕으로 학습된 결과, 남성 지원자를 상대적으로 선호하고 이력서에 ‘women’과 같은 표현이 포함된 경우 불리하게 평가하는 등 성차별적 편향을 드러냈다. 아마존은 해당 용어에 대한 중립화 조치를 시도했으나 시스템의 신뢰성에 근본적인 문제가 있음이 확인되었고, 결국 프로젝트는 중단됐다(Dastin, 2018).

이는 AI가 의도적으로 여성을 차별하도록 설계되었기 때문이 아니라, 기존 채용 과정에 내재된 남성 중심적 패턴이 데이터에 반영돼 있었고 이를 알고리즘이 그대로 학습한 결과로 해석할 수 있다. 그렇다면 2026년 현재의 상황은 어떠한가? 과연 지금의 AI 채용 시스템은 과거의 한계를 온전히 극복하고 ‘완벽한 공정성’에 도달했다고 단언할 수 있을까?

프랑스 철학자 미셸 푸코(Michel Foucault)는 '감시와 처벌: 감옥의 탄생(Discipline and Punish: The Birth of the Prison)'에서 고문 폐지와 근대 감옥의 등장과 같은 개혁은 처벌의 초점을 ‘죄수의 신체’에서 ‘그의 영혼’으로 이동시켰을 뿐(Foucault, 2012/1975)이라고 지적했다.

오늘날 알고리즘은 이 ‘영혼(데이터로 환원된 개인)’을 분석하고 분류하는 현대적 권력 장치로 해석될 수 있다. 즉, AI 맥락에서 이 ‘영혼’은 물리적 실체가 아닌 ‘데이터화된 개인의 속성’과 연결된다. 비유하자면, 과거의 권력이 죄수의 몸에 직접 낙인을 찍는 ‘채찍’이었다면, 푸코가 말한 근대 권력과 현대의 AI는 보이지 않는 곳에서 영혼(데이터)을 옭아매는 ‘투명한 그물’과 같다. 신체는 자유로워 보이지만, 그물은 훨씬 더 촘촘하게 개인을 포착하고 있는 셈이다. 

여기서 중요한 사실 하나. 데이터는 ‘있는 그대로의 현실’이 아니라 ‘측정된 현실’, ‘가공된 현실’이라는 점이다. 무엇을 기록할지, 어떤 항목을 남길지, 어떤 범주로 분류할지, 그 선택이 이미 권력의 지도를 그린다. 푸코식으로 말하면, 데이터는 중립적 정보가 아니라 지식-권력의 결합물이다. 그리고 알고리즘은 그 결합물을 ‘정답’처럼 제시한다.

존 롤스(John Rawls)는 '정의론(A theory of justice)'에서 ‘무지의 베일(Veil of Ignorance)’을 썼을 때 비로소 공정한 합의가 가능하다고 보았다(Rawls, 1971). 그런데 AI가 학습하는 데이터는 베일을 쓴 적이 없다. 우리 사회의 역사적 차별과 편견이 날것 그대로 기록된, 깨진 거울이기 때문이다. 더구나 그 거울은 과거를 ‘반영’하는 데서 멈추지 않는다.

데이터는 오늘의 판단을 만들고, 그 판단은 내일의 데이터를 다시 만든다. 문제는 이 순환이 언제든 공정으로 향하지는 않는다는 데 있다. 과거의 기록이 이미 불균형하거나 차별을 반영하고 있다면, 그 데이터로 학습한 알고리즘은 그 불균형을 ‘사실’로 오인한 채 의사결정을 반복한다. 채용·대출·추천·평가에서 불리한 점수를 받은 집단은 기회 자체를 덜 얻고, 그 결과는 다시 낮은 성과 데이터로 축적된다. 이렇게 만들어진 ‘새 데이터’는 다음 모델의 근거가 되어 편향을 한층 더 공고히 한다.

교정 장치가 없는 자동화는 편향을 줄이기보다 증폭시키기 쉽다. 민감한 변수(성별 등)를 제거하더라도, 학력·경력 공백·거주지처럼 차별을 대리하는 요소들이 남아 결과를 왜곡할 수 있다. 효율과 정확도만을 목표로 삼는 최적화는, 공정이라는 원칙을 ‘비용’으로 취급하며 뒤로 밀어내기도 한다. 여기서 그레샴의 법칙(Gresham's Law)을 은유적으로 떠올려볼 수 있다. 편향은 압도적인 양을 무기 삼아 마치 ‘악화(惡貨)’처럼 유통되고, 공정함은 ‘양화(良貨)’처럼 밀려나 설 자리를 잃는다. 결국 과거의 편향이 미래의 현실로 굳어지는 구조, 이것이 데이터 시대의 가장 위험한 역설이 아닐까?

3. 수학적 최적화라는 가면: 알고리즘의 구조적 주관성

두 번째 문제는 ‘알고리즘 설계의 주관성’이다. 어떤 변수를 중요하게 볼 것인가, 무엇을 배제할 것인가? 이는 기술적 결정이 아니라 윤리적 결정이다. 미국 금융권의 사례를 보자. 자동화된 신용평가·대출 심사 시스템은 우편번호 자체 또는 이를 대리하는 지역 기반 변수를 활용해 왔는데, 이 과정에서 흑인 거주 지역과 백인 거주 지역에 체계적으로 다른 대출 조건을 산출하는 결과가 나타났다. 이러한 효과는 인종을 명시적으로 사용하지 않았음에도, 전통적 레드라이닝이 알고리즘을 통해 재현되는 이른바 ‘디지털 레드라이닝(Digital redlining)’으로 평가되며, 인종 간 대출 금리 격차를 심화시켜 왔다.

캐시 오닐(Cathy O’Neil)은 그녀의 저서 '대량살상 수학무기(Weapons of Math Destruction)'에서, 알고리즘 모델이 객관적 사실이 아니라 특정한 가정과 가치 판단이 수학적으로 고정된 결과물임을 반복적으로 경고했다. 그의 표현을 빌리면, 모델은 ‘수학에 내장된 의견’에 가깝다(O’Neil, 2016).

이 점에서 알고리즘은 중립적 판단 장치라기보다, 인간의 견해가 수학적 형태로 코드화된 산물이라 할 수 있다. 수학적 함수 뒤에 숨겨져 있을 뿐, 효율성을 위해 형평성을 희생하는 것은 명백한 가치 선택이다. 롤스가 말한 ‘공정으로서의 정의’는 절차와 조건의 문제다. 그러나 알고리즘은 이 절차를 불투명하게 만듦으로써 가치 판단을 은폐한다.

바로 여기서 ‘수학은 거짓말을 하지 않는다’는 유명한 착각이 작동한다. 수학은 거짓말을 하지 않을지 몰라도, 수학으로 무엇을 최적화할지 선택하는 인간은 언제든 편향될 수 있다. 정확도를 높이기 위해 어떤 집단의 오류를 더 감수할 것인가, 비용을 줄이기 위해 누군가의 기회를 얼마나 줄일 것인가, 이 선택은 수식 문제가 아니라 정의 문제다.

아리스토텔레스가 말한 ‘같은 것은 같게, 다른 것은 다르게’라는 문장은 그래서 어렵다. 알고리즘은 ‘다름’을 판별하기 위해 변수를 선택하고, 그 다름이 ‘정당한 차이’인지 ‘차별로 이어지는 차이’인지 판단해야 한다. 그러나 아이러니하게도 알고리즘은 스스로 윤리적 숙고를 할 수 없다. 알고리즘이 하는 일은 사람과 상황의 특성을 분류하고 확률을 계산하는 것이지, 그 차이가 무엇을 뜻하는지 이해하거나 정당화하는 것이 아니다.

4. 피드백 루프와 고정되는 현실: '마이너리티 리포트'의 경고

알고리즘의 세 번째 위험은 ‘피드백 루프(Feedback Loop)’다. 한 번 불리한 판단을 받은 집단은 이후 데이터에서도 계속 불리하게 나타난다. 특정 지역의 범죄 예측 AI가 경찰을 더 많이 파견하게 만들면, 그 지역의 검거율은 높아지고 AI는 다시 ‘그 지역은 위험하다’고 확신하게 된다. 이는 마치 영화 '마이너리티 리포트(Minority Report, 2002)'에서 범죄를 예측한다는 이유로 미래의 가능성 자체를 봉쇄하는 것과 닮아 있다. 예측은 설명 없이 결정으로 굳어지고, 결정은 다시 데이터가 된다. 그 결과, 알고리즘은 현실을 반영하는 거울이 아니라 현실을 고정하고 차별을 증폭시키는 장치가 된다.

이때 공정은 ‘판정’이 아니라 ‘궤도’가 된다. 한 번 궤도에서 밀려난 사람은 다시 진입하기 어려워진다. 채용에서 탈락한 집단은 경력 데이터가 부족해지고, 대출에서 거절된 집단은 신용을 쌓을 기회를 잃는다. 결국 알고리즘은 사람의 가능성을 평가하는 것이 아니라 가능성을 사전에 제한하는 장치가 된다. 공정이 결과의 균등이 아니라 기회의 보장이라면, 피드백 루프는 이 원리를 근본적으로 전복시킨다. 나는 이 순환 구조야말로 공정의 토대를 가장 교묘하게 허무는 위협이라 생각한다.

5. 책임 증발과 ‘헛소리(Bullshit)’의 위험: 철학적 성찰

여기서 가장 곤란한 질문이 등장한다. ‘책임은 누구에게 있는가?’ 바로 ‘책임 소재의 불명확성’이다. 딥러닝 기반의 ‘블랙박스’ 구조 앞에서 개발자는 ‘모델이 그랬다’고 하고, 기업은 ‘시스템 판단’이라며 책임을 회피한다.

한나 아렌트(Hannah Arendt)가 말한 ‘악의 평범성(Banality of Evil)’(Arendt, 1963)은 이제 ‘자동화된 평범성’의 형태로 되살아난다. 칸트(Immanuel Kant)는 ‘인간을 수단이 아닌 목적으로 대하라’고 명시했지만, 블랙박스 알고리즘 앞에서 인간은 데이터 처리의 수단으로 전락해 존엄성을 훼손당한다.

영화 '액스 마키나(Ex Machina, 2014)'가 보여준 AI의 인간 조작, '소셜 딜레마(The Social Dilemma, 2020)'의 알고리즘적 주의력 착취가 보여준 기만적 도구성은 기술의 어두운 이면을 경고한다. 그런데 이 장면들을 회상할 때, 우리는 종종 오해한다. AI가 인간을 ‘속인다’거나 ‘기만한다’고 말이다. 그러나 실상은 정반대가 아닐까? 인간이 AI를 핑계 삼아 자신의 책임을 회피하고 있는 것은 아닌지 되물어야 한다.

블랙박스는 기술의 문제가 아니라, 책임 회피를 가능케 하는 사회적 장치가 될 수 있다. ‘알고리즘이 그랬다’는 말이 반복될수록, 공정은 토론의 대상이 아니라 시스템의 결과로 격하된다. 이것이야말로 민주 사회가 경계해야 할 가장 비민주적인 자동화다.

6. 세심(洗心), 거울을 닦는 마음: 데이터 정의와 시민 교육의 과제

공정을 보장하려면 무엇을 바꿔야 하는가? 답은 기술의 폐기가 아니라 재설계, 그리고 인간의 성찰이다. 첫째, 기술적·제도적 접근이다. 설명 가능한 AI 기술을 확보하고, ‘데이터 정화’를 통해 민감 정보를 보정해야 한다. 공공 영역에는 ‘알고리즘 영향 평가’를 도입해 사회적 약자에 대한 영향을 사전에 검증해야 한다. 또한 ‘성능(정확도)’이라는 단일 기준을 넘어, 오류가 누구에게 집중되는지, 피해가 어떤 집단에 누적되는지, 즉 분배의 윤리를 함께 계산해야 한다. 공정은 평균이 아니라 분포의 문제이기 때문이다.

둘째는 교육적 접근이다. 필자가 'AI 윤리와 뇌신경과학 그리고 교육',  '인공지능윤리학: 그 이론과 실제'를 비롯한 일련의 저작들에서 역설했듯, ‘AI는 계산할 수 있으나 성찰할 수는 없다.’ 공정성은 시스템이 자동으로 산출하는 결과값이 아니다. 그렇기에 개발자와 사용자 모두에게 ‘데이터 리터러시’를 넘어선 ‘데이터 정의(Data Justice)’ 교육이 요구된다. 민주 사회에서 공정은 기술적 효율성에 우선하는 가치이며, 교육은 이를 담보하는 가장 강력한 기제다.

이때 ‘데이터 정의’는 단순히 데이터를 정제(cleaning)하는 기술적 차원에 머무르지 않는다. 데이터 수집과 분류 주체는 누구이며, 이익 향유자와 위험 감수자는 누구인가, 이는 데이터 생애주기 전반에 걸쳐 정의(Justice)를 심문하는 과정이기도하다. 요컨대 데이터 정의는 기술 윤리의 하위 항목이 아닌, 기술이 사회를 조직하는 메커니즘을 재고하는 정치철학적 과제인 것이다.

AI는 우리 사회의 민낯을 투영하는 가장 정직한 거울이다. 거울 속 형상이 일그러져 있다면, 우리는 거울을 깰 것이 아니라 자신의 얼굴을 닦아야 한다. 진정한 공정은 차가운 코드 속에 있는 것이 아니라, 그 코드를 설계하고 감시하는 ‘사유하는 시민’의 뜨거운 양심과 철학 속에 존재하기 때문이다. 

그러니 아리스토텔레스가 AI에게 묻는 마지막 질문은 어쩌면 이것일지 모른다.

“너는 공정을 계산할 수 있느냐?”

AI는 답할 것이다.

“나는 최적화할 수 있습니다.”

그러면 우리는 다시 물어야 한다.

“좋아. 그런데, 무엇을 위해 최적화하는가? 누구의 삶을 기준으로? 누가 책임지는가?”

공정성은 시스템이 자동으로 산출해낼 수 없다. 그것은 부단한 토론과 감시, 그리고 교육을 통해서만 구축된다. 따라서 그 모든 논의의 시발점은 명확하다. 수학적 계산이 아니라, 인간의 윤리적 성찰이다.

---

◆ 필자 박형빈 서울교육대학교 윤리학과 교수는....

▲약력

· 서울교육대학교 윤리교육과 교수

· 미국 UCLA 교육학과(Department of Education) 방문학자

· 서울교육대학교 교육전문대학원 에듀테크전공·AI인문융합전공 교수

· 서울교육대학교 신경윤리·가치AI융합교육연구소 소장

▲주요 경력 및 사회공헌

· 현 신경윤리융합교육연구센터 센터장

· 현 가치윤리AI허브센터 센터장

· 현 경기도교육청 학교폭력예방자문위원

· 현 통일부 통일교육위원

· 현 민주평화통일자문회의 자문위원

▲주요 수상

· 세종도서 학술부문 우수도서 3회 선정 ― 『어린이 도덕교육의 새로운 관점』(2019, 공역), 『뇌 신경과학과 도덕교육』(2020), 『양심: 도덕적 직관의 기원』(2024, 역서)

▲주요 저서

· 『도덕적 AI와 인간 정서』(2025)

· 『BCI와 AI 윤리』(2025)

· 『질문으로 답을 찾는 인공지능 윤리 수업』(2025)

· 『AI 윤리와 뇌신경과학 그리고 교육』(2024)

· 『양심: 도덕적 직관의 기원』(2024)

· 『도덕지능 수업』(2023)

· 『뇌 신경과학과 도덕교육』(2020)

· 『통일교육학: 그 이론과 실제』(2020)

*본 칼럼 내용은 본지 편집방향과 다를 수 있습니다.