해커가 숨긴 악성코드, 리버스엔지니어링 기술로 찾는다

세계적으로 사이버위협이 거세짐에 따라 사이버보안 수요가 크게 증가하고 있다. 급성장 중인 시장을 차지하기 위한 글로벌 기술 패권 경쟁도 치열하다. 지디넷코리아는 글로벌 기술 경쟁력을 갖춘 '차세대 보안 기업'을 만나, 국가 전략 산업으로서 사이버보안의 잠재력을 살펴보는 릴레이 인터뷰를 진행한다.[편집자주]

업무에 필수적인 이메일은 해커가 기업 내부로 악성코드를 퍼트리기 가장 좋은 수단이다. 국내 기업 해킹 사고 중 75%가 이메일을 통해 이뤄졌다는 조사결과가 이를 뒷받침하고 있다. 해커들은 의심을 피하기 위해 'exe' 실행파일이 아닌, 평범해 보이는 문서파일이나 이미지 파일 속에 교묘하게 악성코드를 숨기고 있다. '의심스러운 이메일에 첨부된 파일은 함부로 클릭하지 말라'는 보안 교육만으로 나날이 진화하는 공격 수법을 따라잡기 어려운 이유다.

해커가 이런 비(非)실행파일에 숨긴 악성코드를 찾아내기 위한 보안 기술도 발전하고 있다. 시큐레터는 취약점 분석가 출신 임차성 대표가 독자 개발한 리버스엔지니어링 기술을 통해 높은 진단율을 확보했다. 완성된 파일을 보고 설계기법을 역추적하는 기술을 리버스엔지니어링이라 하는데, 취약점 분석가들이 수작업으로 악성코드를 분석할 때 사용해 온 리버스엔지니어링 기술을 알고리즘으로 만들어 자동화한 것이다.

이런 방식의 악성코드 탐지 솔루션은 시큐레터가 유일하다. "시그니처 기반 탐지, 행위 기반 탐지, 콘텐츠 무해화(CDR) 기술 등 기존 악성코드 탐지 기술의 단점을 모두 보완해, 진단율이 높은 것은 물론이고 탐지속도가 빠르고 문서 손상이 전혀 없다"는 게 시큐레터가 자랑하는 기술력이다.

시큐레터는 이런 기술력과 시장성을 인정 받아 지금까지 200억원의 누적 투자금을 유치했다. 올해 상장도 준비하고 있다. 상장을 통해 확보한 자금으로 해외진출에도 본격 시동을 걸 계획이다. 이미 사우디아라비아, 말레이시아 등에서 해외 매출이 나오고 있지만, 궁극적으로 미국 시장에서 인정 받는 한국 보안 솔루션이 되겠다는 포부다.

"미국에서 인정받고 조 단위 밸류에이션(기업가치)을 가진 기업으로 성장하겠다"는 야심찬 포부를 가진 시큐레터의 임차성 대표를 만나 봤다.

-이미 다양한 악성코드 탐지방법이 있는데, 기존 기술이 가진 한계는 뭔가?

"예전에 누군가 한번 감염된 것을 걸러내는 방식이 '시그너처 기반 탐지'다. 당연히 새롭게 만들어진 악성코드는 진단하지 못한다는 게 단점이다.

문서에서 잠재적인 악성코드를 제거하는 '콘텐츠 무해화'라는 기술도 있다. 매크로, 액션스크립트, 자바스크립트 같이 문서의 정상적인 기능을 이용해 악성행위를 할 수 있기 때문에, 이런 기능이 들어간 경우 모두 제거하고 문서를 재조합하는 기술이다. 재조합 시 원본 문서가 손상될 수 있어 이용자가 불편을 느끼는 경우가 많다. 또 폰트나 표에 숨겨 놓은 악성코드는 찾아내기 어렵다.

샌드박스 환경에서 파일을 한번 실행시켜 보는 '행위 기반 탐지' 솔루션도 있다. 알려지지 않은 악성코드를 진단할 수 있지만 해커들이 우회할 수 있는 방법을 무한대로 찾아낼 수 있다는 게 단점이다. 실제 샌드박스 가상환경에서는 아예 동작하지 않도록 악성코드를 만들고 있다. 또, 행위를 봐야 되기 때문에 한 5분 정도 시간이 걸란다는 점을 이용해 3~4시간 후에 동작하게 만들어 놓기도 한다."

-시큐레터의 리버스엔지니어링 방식은 어떻게 작동하나?

"악성코드를 만든 사람만 이것이 어떻게 동작할지 다 알고 있다. 분석가들은 이게 악성이냐 정상이냐 여부를 소스코드 없이 판단해야 한다. 소스코드 없이 분석가가 어떤 의도로 만들었고, 어떤 공격을 하려고 한다는 것을 역으로 분석하는 것이 취약점 분석에서 리버스엔지니어링 기술이다.

우리는 리버스엔지니어링을 자동화해서 파일이 들어오면 디버거 상에서 잠재적인 익스플로잇 요인을 찾아내는 기술을 가지고 있다. 익스플로잇 원인 단계에서 진단하는 기술이다.

예를 들어 PDF 파일은 비실행 파일이기 때문에 이것 자체로는 아무것도 할 수가 없다. 아크로뱃리더를 통해 문서를 열어야 악성 행위도 일어나는 것이다. 아크로뱃리더를 완벽하게 리버스 엔지니어링해 놓고, 포인트 마다 알고리즘에 따라 악성이고 정상인지를 판단하는 것이다. 파일 포맷에 대한 이해와 전문성이 필요하다. 정상 파일은 어떤 속성을 가진다는 점을 다 알고 있고, 악성 코드 분석도 가능하다는 게 우리의 경쟁력이다."

-원래 분석가들이 수동으로 했던 일을 어떻게 자동화했나?

"대학교 때부터 취약점 분석을 연구했고, 시큐레터 창업전에는 안랩에서 분석가로 일했다. 취약점 분석 업무를 하다보니 취약점이라는 것이 아주 정교하기 때문에 디테일 측면에서는 달라질 수 있지만, 익스플로잇을 일으키는 근본 원리에는 공통점이 있다는 게 눈에 보였다. 어셈블리 레벨에서 계속 분석을 하다 보니까 패턴이 보이기 시작한 것이다.

디버거를 통해서 어셈블리 레벨에서 브레이크 포인트도 찍고, CPU레지스터를 트레킹하는 일을 하다보니까 노하우가 쌓였고 알고리즘으로 만들 수 있겠다는 생각이 들었다. 반복적인 일은 프로그램으로 만들고 사람은 알고리즘만 연구하면 되겠다 싶었다. 그래서 창업까지 하게 됐다."

-리버스엔지니어링 방식이 기존 방식보다 어떤점에서 더 앞서 있나?

"대부분의 해킹은 비실행파일을 통해서 들어오는데, 기존 시그니처나 행위 기반 솔루션은 비실행파일 진단이 잘 안 된다. 비실행 파일을 잘 진단할 수 있는 방법은 어셈블리 레벨에서 악성코드를 진단하는 리버스 엔지니어링 방법이다. 알려지지 않은 악성코드를 찾아낼 수 있는 것은 물론, 아직 작동환경이 일치하지 않아 발현되지 않은 잠재적인 취약점도 찾아낼 수 있다.

실제 진단율도 높다. 한국인터넷진흥원(KISA)의 APT 솔루션 성능 평가에선 진단율이 100%라고 나왔는데, 완벽한 보안 솔루션은 존재하지 않으니까 (평가 환경이 아니라 실제 환경에서도) 100%라고 말할 수는 없지만 경쟁 제품보다 잘 진단한다고는 말할 수 있다.

또, 진단 속도도 빠르다. GS인증에서 평균 45초 걸린다는 점을 확인 받았다. 진단 속도는 문서가 실시간으로 처리돼야 하는 게시판이나 망연계 환경에 아주 중요하다."

-이메일 이외에 게시판이나 망연계 환경에서는 악성파일 탐지 솔루션이 어떻게 쓰이나?

"공공기관에서 게시판을 통해서 민원인의 문서를 많이 받는다. 이때 게시판에 올라온 파일에 악성코드가 심어져 있을 수 있다. 국민건강보험공단도 임출산부 게시판에 우리 솔루션을 도입했다. 악성코드 진단에 45초 걸리는데, 이것도 너무 길어서 정적분석과 동적분석을 나눠서 실시간으로 민원인들이 업로드하고, 담당자들이 볼 수 있도록 하는 사업을 진행했다.

망연계 환경을 위한 제품도 있다. 업무망과 인터넷이 가능한 외부망이 분리돼 있는 경우, 외부에서 받은 문서파일을 내부로 들여올 때 정상여부를 진단하는 것이다."

-지금까지 사업 성과는 어떤가?

"처음에는 전혀 새로운 솔루션이다 보니 도입으로 이어지는 일이 굉장히 힘들었다. 제품 카테고리 자체가 없다보니까 기업이나 기관에서 이런 제품을 도입하기 위해 잡아 놓은 예산도 없었다.

눈앞의 단기 성과를 것을 좇는 방식으로 일하지 않고, 장기적인 안목으로 운영하려고 노력했다. 창업 직후 한국투자파트너스에서 20억 정도 투자를 받아서 조급함 없이 기술에 대한 비전을 가지고 운영을 시작할 수 있었다. 지금은 누적 투자 금액이 200억 원 가까이 된다.

사업적으로도 우리 진단율을 보고 보안이 중요한 국가 기관 몇 곳이 바로 도입을 해줘서 좋은 레퍼런스를 많이 만들었다. 지금은 우정사업정보센터, 국민건강보험공단, 한국전력, 한국인터넷진흥원 등 도입 사례가 많아졌고 알아서 찾아오는 고객들도 생기고 있다.

매출은 매년 두 배씩 성장했는데 올해는 세 배 성장이 가능할 거 같다. 시장에서 이런 솔루션이 필요하다는 인식 저변이 넓어졌고, 회사의 인지도도 쌓여서 충분히 가능할 것으로 본다."

-해외 사업 성과도 있나?

"사우디아라비아, 말레이시아 등에서 이미 우리 제품을 쓰고 있다. 사우디아라비아는 국채펀드가 우리 투자자로 들어와 있어서 사업에 도움이 되고 있다. 클라우드 제품으로 제공하기 때문에 해외에서도 연동만 하면 바로 쓸 수 있다. 해외 고객사 중에는 한 달에 악성코드가 3천 건씩 탐지되는 곳도 있다."

-앞으로 계획은?