영상을 복원하는 AI 연구자 "일이 즐겁습니다”

“단순히 영상을 복원하는 작업이지만, 나중에는 사진 한 장으로 3D 영상을 만들 수도 있고 디지털휴먼이 동작까지 하면서 메타버스 공간의 아바타도 만들어 낼 수 있다.”

글로벌 톱티어 수준의 저널에 AI 논문을 실은 SK텔레콤의 한 직원은 자신의 업무가 즐겁다면서 이처럼 말한다.

아홉 달에 걸쳐 심각하게 열화된 디지털이미지를 복잡한 AI 알고리즘으로 원본 수준으로 복원하는 기술을 연구하고 조선대 연구팀과 오픈액세스 버전의 논문을 써낸 그의 입에서는 복잡한 이론보다 일의 즐거움이 끊이질 않았다.

SK텔레콤 AIX 미디어AI팀의 박노갑 매니저 이야기다. 회사에 합류한 뒤 빅데이터와 언어 AI 연구를 거쳐 영상을 복원하는 기술에 집중하고 있다. 딥러닝 알고리즘 기반의 디올디파이 기술로 영상의 화질을 개선하는 일이다.

슈퍼노바라고 부르는 이 기술은 과거 지상파방송사가 HD 전환 이전에 제작된 드라마 ‘대장금’이나 예능 프로그램인 ‘무한도전’을 현재 수준 화질의 리마스터링으로 잘 알려졌다. 이같은 기술력으로 해외 방송사들이 앞다퉈 과거 명작 콘텐츠의 화질 개선 요구가 빗발친다. 국내서도 추가 협력 논의가 오가고 있다.

조선대 연구팀과 IEEE에 영상 복원 AI기술 논문을 게재한 박노갑 매니저.

박노갑 매니저는 “과거 영상은 (화소 수가) 작은 것도 문제지만 제작 당시 방송장비가 지금처럼 좋지 않아 노이즈가 많다”며 “이번 논문도 어떻게 하면 영상 외관을 더 잘 살릴 수 있는지를 고민한 것”이라고 설명했다.

SK텔레콤은 영상 복원 AI 기술로 독립기념관의 일부 전시 사료를 생생한 화질로 되살려내기도 했다.

그는 또 “기술적으로 해보고 싶은 일이 있다”며 “동영상 (프레임) 사이의 연결되는 정보를 이용해 영상 하나에 더 많은 정보를 바탕으로 보다 효과적으로 복원할 수도 있다”고 말했다.

그러면서 “또 사진 하나만 주어졌을 때 사람 얼굴을 복원하는데 3D의 경우 입체적인 물체의 껍데기를 복원하는 것인데 이 껍데기가 움직이게 하면 실물과 동일한 아바타가 되는 것”이라며 “이를 이프랜드와 같은 메타버스 공간에 옮기게 된다면 사진만 찍고 메타버스에 새로운 나를 만드는 기술로 발전할 수 있다”고 강조했다.

과거 영상의 복원 기술에만 그치지 않는다는 게 그의 일하는 즐거움이란 설명이다.

AI 기술을 논하게 되면 최근에는 챗GPT 논의가 가장 요란하고, 국내에 AI 충격을 불러온 이세돌의 바둑 대결 당시에는 알파고만 주로 언급됐다. 음성인식 모델부터 대중에 가장 친근한 AI 서비스는 언어모델 바탕이다.

그런 가운데 미디어에 적용하는 AI 기술에 이처럼 집중하는 회사의 전략에도 눈길을 끈다. 비전AI 이야기는 많이 나오지만, 영상을 복원하는 기술에 SK텔레콤처럼 길게 끌고 온 회사를 찾기 어렵다. 해외 여러 방송사가 멀리 있는 SK텔레콤을 찾는 이유도 이 때문이다.

슈퍼노바 기술을 꾸준히 개발하는 이유에 대해 미디어AI팀을 이끌고 있는 나태영 팀장은 그 이유를 그룹 문화로 꼽았다.

나 팀장은 “이전 회사와 달리 SK그룹은 기술을 열린 형태로 받아들여 여기저기 적용해볼 수 있게 한다”고 말했다.

과거에는 회사에서 개발하는 기술은 특정 목적을 갖고 뒤에서만 움직였지만, 슈퍼노바 기술은 앞에 나서서 다양한 형태로 적용하면서 발전을 거듭해오고 있다는 설명이다. 이를테면 미디어 계열사인 SK브로드밴드의 IPTV 콘텐츠 화질 개선 작업을 하다가 반도체 계열사인 SK하이닉스와 웨이퍼 품질관리(QC)에 영상 분석 기술을 활용하는 식이다.