에버스핀, 기업 간 분쟁 촉발하는 데이터 스크래핑 4천만건 해결

"법적 제도적 장치 없는 스크래핑…오남용 막아야"

AI 보안기업 에버스핀(대표 하영빈)은 해킹방지솔루션 ‘에버세이프 웹’으로 탐지한 데이터 스크래핑이 지난 2년간 4천만건을 기록했다고 17일 밝혔다.

스크래핑(Scraping)은 해킹에도 이용되는 기술로, 목표 웹에서 데이터를 자동으로 추출하는 행위다.

에버스핀에 따르면 최근 이슈로 떠오른 스크래핑은 일부 스타트업이 기성 사업자 데이터를 임의로 추출해 자신의 신규 서비스에 활용하는 방식으로 많이 알려졌다. 최근 세금환급·대환대출 등의 서비스를 제공하는 플랫폼 스타트업이 스크래핑을 활용한 서비스를 운영하고 있다.

에버스핀 관계자는 “스크래핑을 이용한 서비스는 여러 곳에 흩어진 정보를 한데 모아주는 등 이용자 편의성을 높여주기도 하지만, 대상 기업 데이터를 대상 기업 동의 없이 무단으로 추출한다는 점에서 논란의 소지가 있다”며 “스크래핑 과정에서 과도한 트래픽을 유발해 서비스를 지연시키는 등 많은 부작용이 있지만 관련 법·제도적 장치가 존재하지 않아 문제로 지적되고 있다”고 설명했다.

에버스핀 본사 전경

스크래핑 대상이 된 기관이나 기업은 난색을 표하고 있다. 최근 국세청에서는 세무 플랫폼의 과도한 스크래핑으로 홈택스 서비스가 지연되는 등 수많은 사용자가 불편을 호소하는 일이 발생했다. 스크래핑을 통한 접속은 일종의 매크로 프로그램처럼 동작하기 때문에 최대 수십배에 이르는 과도한 비정상 트래픽을 유발한다. 국세청은 정상적으로 접속하는 사용자가 원활하게 접속할 수 있도록 과도한 트래픽(스크래핑 등)을 발생시키는 세무 플랫폼의 접속을 제한한 일이 있었다. 합의되지 않은 스크래핑 피해는 당하는 곳과 정상적으로 이용하는 사용자에게 돌아가기 때문이다.

에버스핀은 해킹방지솔루션 에버세이프 웹으로 기업 간 합의되지 않은 스크래핑을 탐지하고 제한하는 기능을 제공하고 있다. 지난 2년간 에버세이프 웹을 통해 탐지된 전체 스크래핑 건은 4천만건에 이른다.

탐지된 스크래핑 대다수는 합의되지 않은 무단 스크래핑이거나, ‘자동화 봇(Bot)’을 통해 해킹에 악용될 수 있는 정보까지 수집되는 경우도 발견돼 각별한 주의가 필요하다. 해킹을 위한 정보 수집에도 이용되는 만큼 OWASP(Open Worldwide application Security Project)는 스크래핑을 자동화된 보안 위협으로 분류하고 있다.

에버스핀 로고

에버세이프 웹은 해킹방어를 위해 스크래핑 방지 이외에도 세션보호, 디버깅 탐지, 매크로 방지, 제로데이필터 등 다양한 기능을 제공하고 있다. 모든 기능은 이동표적방어(MTD·Moving Target Defense)기술 기반으로 적용됐다. 에버세이프 웹은 NH농협은행·삼성카드·우리카드·한국투자증권·메리츠증권·키움증권·삼성화재·저축은행중앙회·SBI저축은행·손해보험협회·생명보험협회 등에서 이용 중이다.

에버스핀 관계자는 "신설 기업이 기성 사업자가 축적한 데이터를 무단으로 수집하고 그 서버 인프라에 과도한 부하를 유발하면서까지 서비스를 이어가고 있다”며 무분별한 스크래핑 실태를 지적했다. 이 관계자는 “스크래핑은 해커들의 해킹기술로도 이용되는 악용사례도 많은 만큼 원치 않은 스크래핑으로 피해를 받는 기업과 사용자 권익 보호를 위해 연구개발(R&D)을 지속해 스크래핑 방지에 힘쓰겠다”고 덧붙였다.