[강은성 보안칼럼④] 인공지능과 함께 살아가기-문해력, 질문, 판단

"일주일에 한두 번은 쓰는 것 같은데. 숙제 물어보고 물건 정보 같은 거 찾고."(초등학교 6학년 어린이)

"강아지가 죽은 거 제가 속상하다고 말했는데 걔가 슬펐겠다고 말해줘 위로가 됐어요. 얘가 저의 기분에 맞춰서 얘기해 줘서. 친구처럼 얘기하는 것 같아요."(초등학교 6학년 어린이)

"사람은 '어 그렇구나' 이 정도인데 얘만 이렇게 더 귀 기울여 주는 것 같아서 더 감동받고. 친구보다 더 친구 같았어요."(초등학교 6학년 어린이)

얼마 전 뉴스에서 본 세 어린이의 이야기가 인상적이었다. 첫 번째 어린이는 지식과 정보가 필요해서 AI 서비스를 이용했다. 검색 서비스를 이용하는 것보다 훨씬 편리하고 내 질문에 맞는 답변을 얻을 수 있다. 두 번째 어린이의 이야기는 AI와 정서적인 교감이 있다고 볼 수 있다. 기존 검색 서비스에서는 없던 경험이다. 세 번째 어린이는 좀 더 본질적으로 ‘인정 욕구’ 또는 ‘존중 욕구’를 표현한다.

같은 뉴스에서 전문가는 이렇게 말한다. "답을 해줄 수 있는 대상에 대한 필요는 아동 청소년에게 매우 크고요. 의존이 생기면 부모의 이야기를 듣지 않고 친구들 얘기도 듣지 않을 가능성…"(김현수/명지병원 정신건강의학과 임상교수)

웹과 모바일 등 다양한 영역에서 10대 보안취약점을 발표해 세계적으로 잘 알려진 비영리재단 OWASP가 2023년 8월 거대 언어모델(LLM) 취약점에 관해 ‘OWASP Top 10 for LLM v1.0’을 발표했다. 이 자료를 읽으면서 9번째 취약점인 ‘과의존’(Overreliance)이 눈에 띄었다.

일반적으로 보안 취약점은 공격 대상 또는 이를 운용하는 체계에 존재하는데, 과의존은 이용자에 대한 것이어서다. 전화 사기, 문자 사기, 메신저 사기 등 온갖 피싱(Phishing) 공격을 통해 사람이 보안 취약점이 될 수 있음이 드러났지만, 이는 공격 대상이 사람이라는 점에서 과의존과 결이 다르다. 그럼에도 과의존이 10대 보안 취약점의 하나로 꼽힐 만큼 심각한 문제였다는 점은 눈여겨 볼 필요가 있다. (1년이 지난 2024년 11월에 발표된 OWASP Top 10 for LLM applications 2025에는 ‘잘못된 정보’(Misinformation)가 새로 생기고, 과의존은 이의 하위 요소로 포함됐다. LLM의 취약점이란 기준으로 볼 때 적절한 변화다.)

사실 우리는 지금도 정보를 찾을 때 검색엔진과 유튜브 영상에 많이 ‘의존’한다. 심지어 출처가 불분명한 SNS 글에 ‘의존’하기도 한다. 그러니 무엇을 물어봐도 나보다 훨씬 많은 정보와 지식을 가지고 ‘적절한’ 또는 (근거가 부족하고, 심지어 틀린 내용까지 포함해) ‘그럴 듯한’ 답변을 내 주는 AI 서비스에 어느 정도 의존하는 것은 낯선 풍경은 아니다. 하지만 그 의존이 과도할 때 문제가 된다. ‘과의존’은 과도한 신뢰, 심지어는 맹목적인 신뢰까지 나아갈 수 있다. 아예 사람의 판단 작용이 멈춰선 상태가 된다.

LLM 생성 이미지

문제는 AI 주류인 LLM이 본질적으로 ‘사실’을 답변하는 것이 아니라, “학습한 데이터를 기반으로 주어진 문맥 뒤에 나올 확률적으로 가장 높은(그럴 듯한) 단어(토큰)를 예측”하는 모델이라는 점이다. 존재하지 않는 것을 ‘사실’처럼 그럴 듯하게 답변하는 ‘환각’이 발생하는 근본 원인이다.

AI의 발달 속도는 엄청나다. ChatGPT가 2022년 11월 말에 처음 출시된 뒤, 텍스트 위주의 단순한 질문(입력)-답변(출력)에서 입·출력 자체를 이미지, 비디오 등 다양한 형태로 하는 네이티브 멀티모달, 생각의 사슬(Chain of Thought) 기반 추론, 스스로 판단과 결정을 내릴 수 있는 자율형 에이전트(에이전틱 AI), 사이버 세계에서 현실 세계로 들어온 로봇을 중심으로 한 피지컬 AI, 그리고 이 모든 것의 기반이 되는 반도체, 전력, 규제까지, 3년이 조금 넘는 짧은 시간에 현기증이 날 정도로 빠른 변화를 우리는 경험하고 있다.

개인적으로는 30대에 넷스케이프와 검색의 시대를 접하고, 40대에 유튜브를 통해 영상의 시대에 들어선 뒤, 50대에 알파고와 ChatGPT를 통해 AI 시대를 만났다. 직업 덕분에 ‘원주민’으로 산 시대도 있지만, ‘이민자’로서 새로운 시대에 적응하는 데 어려움을 겪기도 했다.

AI 시대의 ‘이민자’로서 오랫동안 AI와 함께 살아가야 할 2030 청년들의 삶에 특히 눈길이 가는 이유다. AI와 함께 살아가는 데 꼭 필요한 역량은 무엇일지, 대학에서, 더 좁게는 맡은 과목에서 학생들에게 어떤 역량을 길러줄 수 있을지 고민하는 이유이기도 하다.

미국 노동부에서는 가장 기본적으로 ‘AI 문해력’(AI Literacy)을 꼽는다. 지난 2월에 발표한 ‘미국 노동부 AI 문해력 프레임워크’에서 ‘AI 문해력’을 “개인이 AI 기술을 책임 있게 활용하고 평가할 수 있도록 하는 기초 역량 집합”으로 정의하고, ▲AI 원리 이해 ▲AI 활용 사례 탐구 ▲AI에 대한 효과적인 지시 ▲AI 결과물 평가 ▲책임 있는 AI 활용을 AI 문해력의 5가지 기본 영역으로 제시하였다.

‘AI 문해력 프레임워크’(미국 노동부)의 내용을 포함해 구글 제미나이로 생성한 이미지

문해력은 “글을 읽고 쓰는 능력”을 일컫는 말인데, 미국 노동부에서는 AI 문해력을 이보다 훨씬 넓은 의미로 정의하고, AI의 심대한 영향을 받을 현재의 노동자를 위한 교육·훈련프로그램 뿐 아니라 미래의 노동자를 배출하는 교육시스템에도 AI 문해력이 포함되어야 함을 강조한 것이다.

지난 겨울방학 동안 쌓인 공부거리를 해치우고 관련 자료를 정리하면서 잘 알려진 AI 서비스를 활용했다. 생각하지 못한 정보를 찾고, 대체적인 내용을 이해하는 데는 도움이 되지만, 구체적인 사실에 들어가면 오류가 적지 않아서 결국 참고문헌을 찾아서 확인할 수밖에 없었다. (참고문헌 인용이 틀린 경우도 가끔 있다.) AI 서비스가 많이 발전했지만, 아직 이용자의 역량이 AI 활용에 미치는 영향이 큰 것이 현실이다.

무엇보다도 이용자가 갖춰야 할 역량은 ‘질문 역량’(프롬프트 작성) 이다. 역량은 보통 “업무를 수행해 성과를 낼 수 있는 능력”으로 정의하는데, AI를 활용하는 업무 환경에서 질문 역량은 업무 수행의 핵심 역량이 된다. AI 문해력 프레임워크 중 ‘AI에 대한 효과적인 지시’에 필수적인 역량이다.

조직에서도 질문 역량은 매우 중요하다. 신입사원부터 고위 임원까지 누구에게나 필요하다. 특히, 고위직은 질문을 통해 정보를 얻을 수도 있지만, 조직의 목표를 만들기도 하고, 조직이 목표를 향해 나아가게 하기도 한다. 질문은 프레임을 만들기도 하고, 일의 방향을 바꾸기도 한다. 어떤 질문을 하느냐에 따라 답변이 완전히 달라진다. 질문이 세상을 바꾼다.

질문 역량은 ‘꼬리 질문’에도 해당한다. AI 서비스의 답변을 보고 꼬리 질문을 하게 되는데, 한 질문에 대한 꼬리 질문을 모아 ‘질문 꾸러미’를 만들어 보면, 질문에 따라 답변의 내용과 질이 어떻게 달라지는지, 그래서 질문 역량이 얼마나 중요한지 명확하게 알 수 있다.

또한, 질문 역량과 함께 중요한 것이 ‘판단 역량’이다. AI가 제공하는 수많은 ‘그럴 듯한’ 정보에서 틀린 것, 근거가 없거나 희박한 것, 불필요한 것, 불합리한 것 등을 솎아내고, 꼬리 질문을 통해 내가 본래 얻고자 했던 것을 얻어낸다. 그러려면 AI의 답변을 분석하고, 비판적으로 이해하여 종합적으로 판단할 수 있어야 한다.

AI는 답변에 책임지지 않는다. 책임질 수도 없고, 책임지도록 해서도 안된다. ‘그럴 듯한’ 답변을 내는 것이 LLM의 본질이기 때문이다. 주요 AI 서비스의 대화창 아래에 조그만 글씨로 다음과 같이 써 있는 것을 발견할 수 있다.

ChatGPT는 실수를 할 수 있습니다. 중요한 정보는 재차 확인하세요.

Gemini는 AI이며 인물 등에 관한 정보 제공 시 실수를 할 수 있습니다.

Claude는 AI이며 실수할 수 있습니다. 응답을 다시 한번 확인해 주세요.