삼성 QLED TV의 'AI 업스케일링'이 흥미로운 이유

저해상도 영상을 4K·8K로 바꾸는 AI 기술의 비결

삼성전자는 올해 QLED TV 신규 라인업에서 저화질 영상을 4K, 8K 고화질로 바꿔주는 'AI 업스케일링' 기술을 확대 적용했다고 밝혔다. LG전자 등 경쟁사가 TV의 AI 활용에서 개인 비서에 집중하는 것과 대비된다.

미국 씨넷은 11일(현지시간) 삼성전자 스마트TV에 탑재된 AI 업스케일링 기술을 리뷰하는 기고를 게재했다.

여러 기술 회사는 AI를 다양한 측면으로 접근한다. 알렉사, 시리 같은 디지털 비서는 교육과 의료에 큰 도움을 준다. 영상 화질을 최대 8K 고화질로 높이는 해상도 개선 AI는 조금 새롭다.

구글어시스턴트 같은 음성인식 기반 AI가 소비자 가전에 접목되고 있지만, TV를 획기적으로 똑똑하게 만드는 건 아니다. 오히려 AI를 활용해 비디오 품질을 개선하는 게 더 체감 만족도에서 높을 수 있다.

삼성전자 모델들이 2019년형 'QLED TV'를 소개하고 있다.(사진=삼성전자)

■ 영상 화질 조정 기술의 전통적 방식은

TV 시장의 최근 경쟁 양상은 화질이다. 삼성전자는 4K, 8K QLED TV로 프리미엄 시장을 공략하고 있다.

삼성은 AI와 머신러닝을 통해 콘텐츠 품질과 TV 하드웨어의 성능 간 격차를 좁힘으로써 소비자 구매만족도 향상에 집중하고 있다.

HD, FHD, UHD 해상도를 UHD TV 화면에 재생할 때 필요한 픽셀 수

구매력 높은 미국조차 4K, 8K TV는 초기 시장이다. TV 방송 분야도 이제 막 4K 콘텐츠를 제작하기 시작했다. 여전히 영상 콘텐츠의 주류는 FHD 1080p 화질이다. 아무리 소비자가 고가의 8K TV를 구매했다해도 초고화질로 영상을 감상하는 건 제한적이란 얘기다.

모든 현대의 TV는 픽셀의 집단이나 개별 이미지요소를 갖는다. 작은 블록이 모여 이미지를 만들어낸다. 픽셀의 수에 따라 재생가능한 화질이 결정된다. FHD 1080p에서 울트라HD(UHD) 4K로, 다시 8K로 발전해왔다.

HD TV는 가로 픽셀수 1280p, 세로 픽셀수 720p다. FHD TV는 가로 픽셀수 1920p, 세로 필셀수 1080p다. FHD에서 4K, 8K로 늘어나면 픽셀수는 두배씩 증가한다.

UHD 4K TV에서 HD 영상을 이용하면 9분의1 픽셀만 필요하다. 폭스, ABC 같은 미국 방송 채널을 그대로 보면 화면 대부분은 검게 나온다.

업스케일링 방식의 구현 원리

TV는 화면을 꽉 채우기 위해 저화질 영상을 확장한다. 이를 상향변환(upconversion), 상향조정(upscaling)이라 부른다.

FHD TV로 HD급 DVD를 재생할 때 TV는 화면을 채우기 위해 모든 새 픽셀을 생성해야 한다. 4K TV가 FHD 화질을 재생할 때도 마찬가지다. 보유 픽셀에 맞게 이미지를 생성하는데 4배의 시간을 필요로 하게 된다.

업스케일링은 저화질 이미지를 줌인하는 것과 같다. 동일한 픽셀을 TV 픽셀수에 맞게 복제해서 화면을 채우는 것이다.

HD 화질을 UHD TV에서 업스케일링하면 원래 픽셀 1개를 9개로 복제해 UHD 화면에 채운다. FHD 화질을 업스케일링하면 원래 픽셀 1개를 4개로 복제한다.

업스케일링을 적용하지 않고 FHD 영상을 UHD TV로 재생했을 때 화면

그동안 화질 조정 기술의 진보는 처리장치의 프로세서 속도 향상으로 이뤄졌다. 픽셀 복제에 드는 시간을 단축하는 방법이다.

수년전 TV 제조사들은 픽셀을 복제하는 대신, 새 픽셀로 보여줘야 하는 것을 결정하기 위해 인접 픽셀을 검토하는 방식을 발명했다. 이 조정 기술은 더 날카롭고 뚜렷한 테투리를 만들 수 있게 한다.

이후론 각 프레임에서 인접 픽셀을 보는게 아니라, 동작, 노이즈, 기타 여러 이미지의 부속물을 보기 위해 복수의 프레임을 살핀다. 이는 선명함과 노이즈 감소 등의 적정 수준을 결정하는 연산 작업을 필요로 한다. AI가 이 작업의 효율적 수행에 도움을 줄 수 있다.

■ AI와 머신러닝이 화질을 높이는 법

TV 제조사의 엔지니어는 자사의 비디오 프로세서로 최고품질의 이미지를 얻기 위해 비법을 활용한다. 이들이 선명도, 노이즈 감소량 등의 적정 수준을 결정한다.

콘텐츠는 매우 광범위하다. 엔지니어가 결정할 수 있는 건 '최고 수준'보다 '적정 수준'이다. 콘텐츠에 맞게 다양한 설정을 미리 해두더라도 모든 콘텐츠를 최고 수준으로 끌어내긴 어렵다. TV 설정에서 볼 수 있는 '필터'가 이것이다.

삼성전자 AI 업스케일링 원리

가령, 스포츠 중계는 선명함을 높여야 하고, 영화는 노이즈를 더 줄여야한다. 이 설정이 반대라면 감상하기 어색한 화면을 만들어낸다. 사람이 어떤 설정을 쓸 지 그때그때 결정하게 되는 것이다. TV 이용자 중 채널을 돌릴 때마다 TV의 필터 설정을 바꾸는 사람은 거의 없다.

삼성전자의 AI 업스케일링은 두가지 측면을 가졌다.

하나는 머신러닝이다. 수많은 비디오 콘텐츠는 컴퓨터로 분석된다. 분석 후 새 필터가 만들어진다. 축구 중계, 자동차 경주, 리얼리티 예능, 영화, 드라마 등등 필터가 그에 맞게 만들어지는 것이다. 또, 같은 스포츠 중계 화면이라도 화질이 FHD냐 4K냐에 따라 다른 필터를 생성한다. 삼성전자는 100여개의 필터를 가질 수 있다고 설명한다.

필터들은 TV에 저장된다. 무언가를 감상할 때 TV는 사용자가 무얼 보려는지와 이미지를 함께 분석한다. 이것이 삼성전자 AI 업스케일링의 두번째 측면이다. 시청자가 이용할 콘텐츠를 결정하면, AI는 그때 최고 화질을 보여줄 수 있는 필터를 만들어 적용해준다. 그 조합이 많기 때문에 모든 경우의 수에 대응하는 필터를 적용해주려면 TV 제조사의 엔지니어는 모든 필터를 만들어 수시로 소프트웨어 업데이트를 뿌려야 할 것이다.

이론적으로 맞춤화된 필터가 미리 만들어진 필터보다 더 나은 이미지를 보여줄 것이다. 그 체감 만족도는 크지 않을 수 있다. 정량화된 수치로 밝히는 것도 불가능하다. 다만, 같은 브랜드의 고사양 TV끼리 비교할 때 AI 업스케일링이 조금 더 나은 화면을 보여줄 것은 확실하다.

■ LG, 소니 등 경쟁사는 어떤 기술 쓰나

AI 업스케일링 같은 기술을 삼성전자만 만든 건 아니다. LG전자나 소니도 독자적인 방법으로 유사한 기능을 구현했다.

LG전자 AI 씽큐 작동 방식

LG전자도 삼성전자와 다른 방식이지만 AI를 이미지 품질을 증강시키는데 사용한다. LG전자에 따르면, LG AI 씽큐는 딥러닝 알고리즘을 활용해 콘텐츠를 100만 조각 이상의 단위로 살펴본다고 한다. 사용자가 보려는 콘텐츠를 분석하고, 각 콘텐츠에 맞는 최적 설정을 결정해준다고 한다. LG전자는 이를 '딥러닝 픽처'라 부르고 있다.

이는 삼성전자의 AI 방식에 예전 방식을 혼합한 것이다. 설계자가 미리 만들어둔 설정 중 가장 적합한 것을 AI가 골라주는 식이다. 또, LG전자의 AI는 TV 주변의 빛을 측정해서 화면 밝기를 조정하는 기능도 갖고 있다. 콘텐츠의 오디오도 분석해 최고 음질로 바꿔주기도 한다.

소니 X리얼리티프로 작동 방식

소니는 AI란 용어를 쓰지 않는다. 단, 4K X리얼리티프로란 기능으로 삼성의 AI 업스케일링과 유사한 결과를 낸다.

4K X리얼리티프로는 이미지를 조정하기 위해 광범위한 이미지 데이터베이스를 활용하는데, 소니는 이를 '듀얼 데이터베이스 프로세싱'이라 부른다. 하나의 데이터베이스는 노이즈를 제거하는데 필요한 이미지의 부분을 결정한다. 다른 데이터베이스는 어느 부분이 세밀함을 높여주는데 필요한지 결정한다.