“5년전 지불이나 각종 처리와 관련해 기존 시스템이 너무 느려지고, 축적되는 데이터 양이 너무 방대해져 이를 보관하기 위해 하둡을 고려하기 시작했다. 그러다 보안 역시 하둡을 통해 원하는 속도를 충족하면서 분석 역량도 높일 수 있다고 판단하게 됐다.”
닉 커쿠루 마스터카드 기업정보관리담당 부사장은 15일 클라우데라코리아가 개최한 기자간담회에 참석해 이같이 밝혔다.
그는 “마스터카드는 전세계 220개국의 20억개 카드에서 일어나는 시간당 1억6천만건의 트랜잭션을 처리하고 있다”며 “과거엔 이를 밀리세컨드 단위로 처리하면 됐지만, 이제 서브세컨드란 아주 짧은 시간에 처리해야 한다”고 말했다.
그는 “마스터카드에게 보안은 최우선 순위로, 거래를 더 용이하게 해야할 뿐 아니라 우리의 네트워크와 그 사용자를 보호하는 것이 정말 중요하다”며 “데이터 보안에 대한 규제인 PCI DSS까지 하둡에서 어떻게 충족할 지 찾다가 클라우데라 내비게이터나 매니저를 통해 많은 것을 달성할 수 있었다”고 덧붙였다.
마스터카드는 클라우데라와 함께 하둡 시스템 기반의 보안 체계를 구축했다. 신용카드 위변조 등 부정행위 방지 솔루션으로 클라우데라 엔터프라이즈를 도입했고, 클라우데라 엔터프라이즈 데이터 허브(EDH)와 서치를 활용하고 있다.
그는 “클라우데라 솔루션으로 하둡에서 연간 검색건수를 2만5천건까지 할 수 있게 돼 많은 위변조 방지 사례를 얻을 수 있었다”며 “전통적 데이터웨어하우스 상에서 보안을 강구하는 수준만큼 클라우데라 하둡 위에서 같은 수준의 보안을 강구할 수 있다”고 설명했다.
마스터카드는 검색 결과의 정확도를 높이고 결과 우선 순위를 지정할 수 있게 돼 판매자를 더욱 빠르고 간편하게 평가할 수 있게 됐다. 굳이 추가 검색을 실행하거나 심층 조사를 해 비용을 지출할 필요가 없어졌다. 마스터카드는 클라우데라 솔루션의 검색 기능을 플랫폼화해 연간 지원되는 검색 건수를 5배 늘리고 일간 고객별 검색 건수는 25배 늘렸다. 플랫폼의 확장성과 성능 및 정확도가 개선됨에 따라 마스터카드는 자사 솔루션을 새로운 시장에 제공하는 방식으로 새로운 매출원을 구축할 수 있게 됐다.
마스터카드는 클라우데라 솔루션을 통해 동적 확장성과 개선된 성능을 확보, 검색 속도를 높이고 사용자 기반을 확장하는 한편, 매입회사 측에 풍성한 검색 기능을 제공하고 검색 정확도를 증진시킬 수 있었다. 이 솔루션은 여러가지 검색 알고리즘을 사용해 검색 결과를 인덱싱 및 일치시키고 정렬할 수 있으며, 이전에는 비실용적이라고 판단해 보류했던 새로운 채점 기능을 구현했다. 또한, 확장성과 유연성이 개선됨에 따라 마스터카드는 이 솔루션을 이용해 제약 없이 자사 데이터의 분류를 확장하고 업계 동향 등에 따라 새로운 데이터를 포함시킬 수 있다.
결제카드산업정보보안표준(PCI DSS v3.0)을 준수하는 직접적이고 간단한 방법은 저장된 데이터와 실시간 데이터를 모두 암호화해, 암호화 키와는 멀리 떨어진 곳에서 관리하는 것이다. 다만, 이 과정에는 예전부터 보안 특수 소프트웨어가 필요했는데 이는 때때로 위험에 노출되고는 했다.
클라우데라의 솔루션은 가장 완벽한 데이터 보안 프로토콜을 지원하며 은행 및 소매업체에서 데이터 침해 사건이 발생하기도 전에 이를 예방할 수 있도록 돕는다. 데이터 보안을 완벽하게 지키는 것은 워낙 힘든 업무로, 이전에는 PCI를 온전히 준수하는 빅데이터 인프라를 구축하려면 최대 24개월까지 걸렸다. 그럼에도 불구하고, 개인정보 구성이 하나라도 잘못되면 시스템에 치명적 피해를 입힐 수 있는 데이터 침해 문제가 발생할 수 있었다.
클라우데라는 이 같은 상황에 대응하고자 마스터카드와 함께 새로운 솔루션을 개발했다. 이 솔루션은 조직의 규모와 관계 없이 하둡을 이용하는 데 필요한 시간을 절약하도록 돕고 연례 PCI 감사를 통과하는 데 드는 총 비용을 절반 이상 절감시켜준다.
그는 “데이터 침해 시 레코드당 비용 발생을 볼 때 일반적으로 하나의 레코드를 하나의 행을 얘기하는데, 한 행에 여러 컬럼이 존재할 수 있다”며 “이제 새로운 규제가 나와 하나의 컬럼을 하나의 레코드로 판단하게 되므로 그 비용이 4~5배로 증가할 수밖에 없게 됐다”고 말했다.
그는 “이런 비용이 점점 높아지는 상황에선 클러스터당 보안을 강구해야 한다”며 “데이터 보안 관련해 경계 보안, 모니터링을 위한 시각화, 액세스 보안, 데이터 아키텍처 등 4개 기둥을 갖춰야 한다”고 강조했다.
마스터카드는 중앙집중형 관리체계를 통해 인증 후 활동자가 어떤 일을 하는지 항상 모니터링하고 있다. 어떤 사람이 어떤 데이터를 볼 수 있게 하는 허용에 대한 부분에서 역할 기반으로 접근권한을 부여한다. 하둡시스템 내 데이터에 대한 역할 기반 접근 제한으로 침해사고 발생 시에도 그 피해 범위를 축소할 수 있게 됐다. 하둡 클러스터의 데이터를 모두 암호화하고, 모든 계층을 제어하고 있다. 시각화를 통해 감사를 하고, 실시간으로 클러스터를 모니터해 사용자 프로파일링을 할 수 있게 됐다.
관련기사
- 빅데이터전문업체 클라우데라, 뉴욕증시 상장2017.05.16
- 굿모닝아이텍, 클라우데라와 파트너십 체결2017.05.16
- 클라우데라, 한국 빅데이터 인력 양성 나서2017.05.16
- 하둡의 아버지 “코어 하둡의 대체재? 상관없다”2017.05.16
그는 “마스터카드는 신용카드 업계서 데이터 침해 발생 시 모든 침해건수를 분석하는데, 대다수 데이터 침해 사고가 수개월전부터 일어난다는 걸 발견하게 된다”며 “하둡은 로그를 시간단위, 분단위로 쪼개 계속 볼 수 있을 뿐 아니라, 영향 받은 사안을 정확히 보고하게 해준다”고 말했다.
그는 “이제 금융 회사는 디지털 개인정보를 수호하는 존재가 돼야 한다”며 “컴플라이언스나 거버넌스뿐 아니라 제공받은 정보를 어떻게 보관하고, 통합하며, 수호할 것인지에 대한 윤리가 중요해지는 시대이며, 하둡은 이를 모두 다 받춰줄 수 있다”고 강조했다.