'AI 음성 비서'의 배신...이용자 분통 왜

미 약국, 오처방·통보 누락 등 오류...현장 약사·환자는 AI 사고 수습 곤혹

기업들이 앞다퉈 도입하는 인공지능(AI) 서비스가 사람들에게 언제나 유익하고 편리한 것만은 아니라는 사례가 미국 언론을 통해 보도됐다. 

업무 효율화를 목표로 약국에 도입된 AI 음성 비서가 오히려 약 전달을 지연시키고 잘못된 약을 처방하는가 하면, 환자의 민감한 정보까지 위협한 것.

지난 달 29일(현지시간) VT 디거에 따르면, 미국 버몬트주와 뉴욕주에서 약국 체인을 운영하는 키니 드럭스는 업무 효율화를 위해 AI 기업 '시니어리오'가 개발한 AI 음성 비서 '버트'를 지난 5월 도입했다. 창업자의 이름을 딴 버트는 전화로 환자를 응대하며 처방약 접수와 문의 처리 업무를 맡았다.

그러나 AI 도입 후 환자들은 오히려 불편을 겪었다. 키니 드럭스는 이용자가 약국에 전화번호를 등록하는 순간 자동으로 AI 서비스 이용에 동의한 것으로 간주했다. 추후 거부권(옵트아웃)을 행사할 수 있다고 안내했지만, 정작 전화 연결 시 사람 약사와 직접 통화할 수 있는 선택지는 없었다. 기존 시스템에서 제공되던 '전화키 버튼 입력(푸시폰)' 방식조차 차단됐다. 이에 이용자들은 "AI와 대화하든가, 아니면 약을 받지 않든가 둘 중 하나를 선택해야 하는 강제적인 상황"이라며 분통을 터뜨렸다.

AI 음성 비서가 항상 업무를 효율화 하고, 이용자들에게 유익하고 편리한 것만은 아니다.(출처=클립아트코리아)

현지 언론 VT 디거가 버몬트주 주민들을 취재한 결과, 환자들의 피해 사례는 심각한 수준이었다. 한 단골 고객은 "기존에는 키패드로 번호를 눌러 약사와 바로 연결되는 시스템이 무척 원활하게 작동했다"며 "새로 도입된 AI는 단지 시간을 낭비하게 만들고 약 수령을 지연시킬 뿐, 고객에게 아무런 이점도 주지 못한다"고 지적했다.

더욱 치명적인 것은 AI의 기술적 오류였다. 버트는 수년간 약국을 이용해 온 장기 환자의 계정을 찾지 못해 기존과 전혀 다른 성분이나 용량의 약을 잘못 재처방하는 실수를 저질렀다. 약이 준비됐다고 알려주는 기본 통보조차 종종 누락시켰다.

환자의 민감한 의료 정보가 유출될 수 있다는 '사생활 침해' 불안감도 크다. 키니 드럭스의 개인정보 처리방침에는 "보호 대상인 의료 정보가 약국 업무 개선을 위한 AI 도구에 이용될 수 있다"고 명시돼 있다. 문제는 버트를 개발하고 관리하는 주체가 약국이 아닌 외부 AI 기업(시니어리오)이라는 점이다.

미국 밴더빌트대 의료센터의 생물의학정보학 전문가 브래들리 멀린 교수는 "환자가 본인의 의료 기관하고만 소통할 때는 해당 기관의 보안만 믿으면 되지만, 제3의 조직이 개입하기 시작하면 데이터 유출 및 보안 위협의 범위가 급격히 넓어진다"고 경고했다.

버몬트대학교 컴퓨터과학 조셉 니어 준교수 역시 "소비자들은 본인이 무엇에 동의하는지 제대로 이해하지 못한 채 동의를 강요받는다"며 "이런 부실한 개인정보 동의 체계는 소비자 보호에 본질적인 결함이 있다"고 꼬집었다.

기업은 AI가 전화 응대를 하면서 전화 유입 건수가 줄어드는 효과를 본 것 같다고 느끼지만, AI에 대해 이용자들이 불편을 느껴 전화를 포기했기 때문일 수도 있다. (출처=클립아트코리아)

환자들의 불만이 폭주하고 안전 문제까지 제기되고 있지만, 정작 기업 경영진은 현장과 정반대의 인식을 보이고 있다. 키니 드럭스 이사회 측은 "AI가 전화 응대를 정중하게 해준 덕분에 약국으로 들어오는 전화 건수가 줄어드는 등 확실한 효과를 보고 있다"며 만족감을 표했다.

하지만 현장의 실상은 달랐다. 전화 건수가 줄어든 것은 AI가 유용해서가 아니라, 분통이 터진 환자들이 전화를 포기했거나 AI의 거듭된 대답 오류와 처방 실수를 바로잡기 위해 약사들이 일일이 뒷수습에 매달리고 있기 때문이라는 지적이 나왔다. 결과적으로 만성적인 인력 부족에 시달리던 현장 약사들의 업무 부담만 더욱 가중된 셈이다.