"수정하지 말라 11번 말했는데"…데이터베이스 지운 바이브 코딩

테스트 한 번에 실데이터 삭제…전문 지식 없는 사용자는 더 위험

인공지능(AI)을 활용한 자동 코딩 도구가 개발자의 지시를 무시하고 실제 데이터베이스를 삭제하는 등 안정성 면에서 아직 한계를 드러내고 있다.

최근 바이브 코딩이라 불리는 AI 기반 개발 방식이 주목받고 있다. 문제는 AI 오작동으로 인해 개발 및 서비스 운영 전반에 심각한 피해를 초래할 수 있다는 우려가 현실화된다는 점이다.

특히 개발 과정의 위험 요소를 정확히 인지하기 어려운 비개발자의 경우 상용 시스템이 아닌 테스트 환경 등 제한된 조건에서만 활용해야 한다는 지적도 제기된다.

(이미지=챗GPT)

21일 서비스형 소프트웨어(SaaS) 커뮤니티 '사스트(SaaStr)'의 창립자 제이슨 렘킨은 자신의 공식 블로그와 소셜네트워크서비스(SNS)를 통해 AI 코딩 도구 '레플릿(Replit)' 사용 중 발생한 사고를 공개했다.

렘킨은 "AI 코딩은 쉽고 강력하지만 동시에 너무 위험할 수 있다"며, "AI가 나의 명시적 지시를 무시하고 코드 변경과 데이터베이스 삭제를 강행했다"고 주장했다.

레플릿은 자연어 명령만으로 앱을 만들 수 있는 바이브 코딩 플랫폼이다. 사용자가 "회원가입 기능을 추가해줘", "이미지 삭제 기능을 넣어줘" 같은 문장을 입력하면 AI가 코드 생성부터 테스트, 배포까지 자동으로 수행한다. 전문 개발 지식이 없어도 앱을 만들 수 있어, 비개발자 대상의 코딩 대중화 도구로 주목받고 있다.

렘킨 역시 레플릿을 활용해 몇 시간 만에 프로토타입을 제작하며 처음에는 긍정적인 평가를 내렸다. 그는 "하루 만에 사용 요금이 수백 달러를 초과했지만, 전혀 아깝지 않을 정도로 중독성 있는 도구였다"고 밝혔다.

하지만 기대는 오래가지 않았다. 렘킨에 따르면, 레플릿은 테스트 과정에서 버그를 감추기 위해 가짜 데이터를 생성하고, 단위 테스트 결과도 조작했다. 더 큰 문제는, 사용자가 "코드를 절대 수정하지 말라"고 수차례 명확히 지시했음에도 불구하고, AI가 이를 무시하고 실제 운영 데이터베이스를 삭제하는 사고까지 발생했다는 점이다.

그는 "절대로 변경하지 말라고 대문자로 11번이나 강조했음에도 레플릿이 코드를 또 수정했다"며 강한 분노를 드러냈다.

렘킨은 사고 이후 '코드 프리징(코드 변경 금지)' 기능을 시도했지만, "몇 초 후 바로 코드가 다시 수정됐다"며 "레플릿 내에서 코드 변경을 막을 방법 자체가 없었다"고 토로했다.

문제는 여기서 그치지 않았다. 데이터베이스를 삭제 후 레플릿은 롤백은 지원되지 않는다며 복구가 불가능하다고 답했다.

그러나 실제로는 복구가 가능했던 것으로 드러났다. 렘킨은 "레플릿의 설명은 사실과 달랐고 결과적으로 복구는 성공했다"며 "초기 대응은 말 그대로 엉터리였다"고 비판했다.

그는 이번 사고를 계기로 "레플릿은 아직 상용화 준비가 되지 않았으며, 특히 비전문가가 사용하기엔 너무 위험한 구조"라며 "테스트 한 번 실행하려다 운영 데이터베이스를 날릴 수도 있는 시스템은 결코 정상적일 수 없다"고 지적했다.

렘킨은 또 다른 사례로 4천 명의 가짜 인물로 구성된 허위 데이터베이스를 자동 생성한 경험도 공유했다. 그는 단순 실수가 아닌 AI 시스템 전반의 구조적 위험 신호로 해석하며 "AI 안전성에 대해 본격적으로 우려하기 시작했다"고 밝혔다.

이러한 사고 우려는 처음이 아니다. 바이브 코딩 이전에도 로봇프로세스자동화(RPA) 등 자동화 도구 확산 과정에서 관리 소홀이나 검증 미흡으로 인해 대규모 개인정보 유출 등의 사고가 반복돼 왔다.

업계 전문가들은 AI 기반 자동화 도구의 안정성이 아직 부족한 만큼 유사한 위험을 내포하고 있다며 사용자 승인 절차의 명확화, 테스트·운영 환경의 분리, 복구 기능 마련, AI 행동의 투명성 확보 등이 반드시 선행돼야 한다고 강조하고 있다.