한국방송통신전파진흥원MEDIA ISSUE & TREND Vol.64

1. 들어가며

최근 미디어 시장은 플랫폼 간 치열한 경쟁과 제작비 급증으로 콘텐츠 제작에 많은 어려움을 겪고 있다. 이러한 상황에서 초거대 생성형 AI의 출현은 콘텐츠 기획, 제작, 유통 등 미디어 생태계 전반에 걸쳐 새로운 가능성을 제시하고 있다. KBS는 ‘어떻게 하면 방송 제작 과정에서 반복적인 작업을 줄이고, 적은 리소스로 효율적인 콘텐츠 제작이 가능할까?’라는 주제에 대해 고민해왔으며, 국내 방송사 중 가장 먼저 AI와 머신러닝 기술을 방송 제작에 접목하고자 하는 AI 트랜스포메이션을 시도해 왔다. 본고에서는 KBS가 AI 트랜스포메이션을 통해 미디어 환경 변화에 대응하기 위한 노력과 앞으로 나아갈 방향에 대해 살펴보고자 한다.

2. 미디어 산업의 현재

과학기술정보통신부는 ‘AI와 디지털 기반의 미래 미디어 계획’에서, 우리나라 미디어·콘텐츠 산업 환경을 탄탄한 스토리 라인과 치밀한 구성을 갖춘 다양한 장르의 콘텐츠를 높은 가성비로 제작하고 있지만, 글로벌 OTT의 등장으로 제작비는 급증하고 이를 충당할 자체 자금이나 외부 자금 조달 역량이 취약하다고 진단하고 있다. 일례로, 2016년 드라마 <도깨비>의 회당 제작비가 9억 원이었으나, 2018년 <미스터 선샤인>은 20억 원, 2021년 <스위트홈>은 30억 원에 달한다(과학기술정보통신부, 2023. 9. 12).

방송통신위원회의 ‘2023년도 방송시장경쟁상황평가 결과 발표’에서는 2022년도 전체 방송사업자의 자체제작, 외주제작, 구매를 모두 포함한 전체 직접제작비가 2조 8,774억 원으로 전년 2조 5,940억 원 대비 10.9% 증가했다고 밝히고 있다(방송통신위원회, 2024. 3. 13).

글로벌 OTT 기업들은 일찍부터 빅데이터를 활용해 킬러 콘텐츠를 제작하고 이용자 맞춤형 추천 기능을 강화하여 미디어 시장에서 절대적인 우위를 갖게 되었다. 한마디로 현재 국내 미디어 산업은 글로벌 OTT와의 경쟁뿐만 아니라 제작비 증가라는 커다란 도전에 직면해 있다.

격변하는 미디어 환경에서 국내 미디어 기업들은 AI 기술을 도입해 제작비를 절감하고 창의적인 콘텐츠를 신속하게 제작하기 위한 새로운 도전을 준비하고 있다.

AI 기술은 콘텐츠 기획부터 제작, 유통, 홍보에 이르기까지 미디어 생태계 전 과정에서 혁신을 가져다 줄 것으로 기대된다. 이미 대본 작성, 연출, 번역, 자막, 더빙 등 콘텐츠 생산 과정에서 일정 부분 역할을 하고 있는 것은 물론, 맞춤형 추천, 불법 유통 차단 등 콘텐츠 유통 단계에서도 역할을 확대해 나갈 것으로 전망된다.

리서치 앤 마켓(Research and Markets) 자료에 따르면, 2028년까지 미디어&엔터테인먼트 시장에서 글로벌 AI 연평균성장률(Compound Annual Growth Rate, CAGR)은 2024년 대비 25.7% 성장할 것으로 전망하고 있다.

이처럼 AI 기술이 발전할수록 미디어 생산 과정에 AI를 접목하려는 시도는 더욱 증가할 것이며, 향후 미디어 산업에서 AI 도입은 선택이 아닌 필수가 될 것이다.

3. AI 영상 솔루션 ‘버티고(VVERTIGO)’

3-1. 버티고의 시작

KBS는 반복 작업을 줄이고 방송 제작을 더 효율적으로 할 수 있는 방법을 고민하던 중, 멀티캠 제작에서 비용과 시간이 많이 소요된다는 점을 인지하게 되었다. 특히, K-POP이 글로벌 트렌드로 인기가 높아지면서 직캠 콘텐츠의 수요가 증가한 반면, 방송국에서는 공간, 비용 등의 물리적 제약으로 인해 많은 카메라를 추가 배치하기 어려운 현실에서 8K 카메라와 AI 기술을 활용해 이 문제를 해결하고자 했다.

‘버티고’는 2018년 KBS미디어기술연구소 연구원들이 자율 연구회를 통해 시작한 프로젝트로, 사내공모전에 출품하여 대상을 수상하면서 본격적인 개발이 시작되었고, 2019년에 첫 프로토타입을 개발하고 방송 프로그램에서 시범 적용되었다. 이후 지속적인 기능 개선을 통해 <뮤직뱅크>, <불후의명곡>, <대기획 god콘서트>, <가요대축제>, <국제방송70주년> 등의 음악 프로그램뿐만 아니라 <편스토랑>, <불후의명곡(토크)>, <누가누가잘하나>와 같은 관찰 예능 프로그램에도 확대 적용되고 있다.

그 결과, 버티고는 다양한 장르의 실제 방송 프로그램 제작에 AI 기술을 적용한 성공적인 사례로 인정받게 되었다. 특히, AI 직캠 제작 솔루션을 활용해 타방송사보다 더 다양한 콘텐츠를 빠르게 업로드할 수 있었으며, 이를 통해 K-POP 관련 키워드 검색 노출 빈도를 높였으며, KBS K-POP 유튜브 채널의 성장에도 중요한 역할을 했다. 또한, 버티고를 통해 방송사 내 8K 제작 워크플로우를 성공적으로 정착시켰으며, 현재 국내에서 거의 유일하게 8K HDR로 제작된 K-POP 콘텐츠를 유통한다는 자부심도 또한 크다.

3-2. 버티고 : AI 편집 툴

미디어 제작 과정은 창의적인 작업으로 여겨지지만, 현실적으로는 많은 시간과 비용이 소요되며 반복적인 작업이 필연적으로 수반된다. 이러한 비효율적인 부분을 개선하기 위해 AI 기술의 도입이 필요하다고 보았으며, ‘버티고’는 여러 방송 프로그램 중에서도 K-POP 아이돌 그룹의 세로직캠 영상을 효율적으로 제작하려는 고민에서 출발했다. 기존에는 세로직캠 영상을 제작하려면 멤버 수에 맞게 카메라를 배치해야 했지만, 스튜디오 공간의 제한과 많은 방송용 카메라를 배치할 수 없는 물리적인 제약으로 인해 모든 멤버를 촬영하는 것이 현실적으로 쉽지 않았다. 이에 KBS에서는 AI 기술을 활용해 멤버별 직캠 촬영의 제약을 극복할 수 있는 새로운 방식을 모색했다. 그 결과, 8K 카메라로 무대 전체를 촬영한 뒤, AI 기술로 각 멤버를 자동 추적하여 개별 세로직캠을 생성하는 버티고 툴을 개발하게 되었으며, 이를 통해 K-POP 촬영 방식에 혁신을 가져오고자 했다.

버티고가 제공하는 첫 번째 핵심 기능은 고해상도 영상의 일부를 피사체의 움직임에 맞게 잘라내는 인물별 리프레이밍 기능이다. 버티고는 적은 카메라와 카메라맨을 사용하여 멀티캠과 같은 효과를 낸다. 이를 위해 초고해상도 영상에서 피사체가 움직이는 궤적에 따라 영상의 일부를 잘라내는 리프레이밍 방식을 사용한다.

버티고의 두 번째 핵심 기능은 KBS미디어기술연구소에서 자체 개발한 딥러닝 기반 인물인식 AI엔진이다. 영상에 등장하는 각 인물의 움직임을 따라 리프레이밍하기 위해서는 짧은 프레임 간격으로 굉장히 많은 수작업이 요구된다. 특히, K-POP 아이돌 그룹과 같이 격한 안무와 화면 변화가 클 때 움직임을 쫓아가기가 어렵다. 버티고는 움직임이 커도 자동으로 인물을 따라가기 위해 딥러닝 기반 인물인식 AI엔진 기술을 적용하여 움직이는 피사체를 자동으로 추적하여 키프레임을 생성한다.

버티고의 세 번째 핵심 기능은 GPU가속기술을 이용한 고속 영상 프리뷰, 고속 렌더링 및 고속 AI분석 기능이다. ‘버티고’에서 사용하는 원본 영상은 8K화질의 초고해상도 영상이기 때문에 AI분석, 프리뷰 및 렌더링에 많은 시간이 소요된다. 버티고는 GPU자원을 최대한 활용하여 이를 매우 빠른 속도로 처리하여 통상적인 상용 NLE보다 빠른 성능을 보인다.

버티고의 네 번째 핵심 기능은 리프레이밍 작업을 위한 빠르고 직관적인 UI·UX이다. 인물별로 움직임을 추적하면서 크롭하는 작업은 상용 NLE에서 매우 오랜 시간이 걸린다. 실제로 같은 리프레이밍 작업을 수작업으로 할 때 어도비 프리미어(Adobe Premiere)와 버티고의 수행시간은 10배 이상 차이가 난다. 버티고는 직관적인 UI·UX로 인물인식 AI엔진으로부터 자동으로 추출한 키프레임을 빠른 속도로 검수하고, 필요한 경우 수동으로 키프레임을 추가·삭제 할 수 있어 매우 빠른 속도로 리프레이밍 작업을 진행할 수 있다.

3-3. 버티고 라이브 : 실시간 AI 툴

‘버티고’ AI 편집 툴 탄생 이후, 현업 제작자들로부터 버티고 실시간 버전에 대한 요구가 꾸준히 제기되었다. 버티고에서 실시간 영상 입출력 및 처리가 가능해지면 적용할 수 있는 방송 프로그램의 범위가 크게 확장될 수 있기 때문이다. 이에 KBS미디어기술연구소는 2022년부터 ‘버티고 라이브(VVERTIGO Live)’ 프로토타입 개발을 시작하여, 생방송 제작에 활용할 수 있는 수준의 AI 기반 실시간 인물 추적 기능을 개발 중이다.

‘버티고 라이브’는 기존 버티고와 달리 실시간 인물 추적에 최적화된 AI 엔진을 사용하며, 인물의 움직임을 빠르게 인식하고 추적해 실제 카메라맨이 구도를 잡는 것과 유사한 모션을 구현한다. 최대 8K 화질까지 실시간 인식 기능을 지원하며, 1대의 고해상도 카메라로 최대 4대의 HD 카메라 기능을 수행할 수 있다. 버티고 라이브는 무인 스튜디오나 1인 스튜디오에서도 방송 제작이 가능하게 하고, 좁은 스튜디오에서 출연자별 카메라 배치 문제를 해결할 수 있다. 특히, 패널 리액션, 뉴스, 토론 프로그램 등 기존 버티고 툴 적용 프로그램과는 다른 장르의 프로그램에 적용 가능한 솔루션으로 자리매김하기 위해 노력 중이다.

3-4. 버티고 비전 : AI 영상 확장

KBS는 ‘버티고 라이브’ 개발에 이어 다가오는 공간컴퓨팅 시대를 대비하여 ‘버티고 비전(VVERTIGO Vision)’ 프로젝트를 준비 중이다. ‘버티고 비전’은 AI 기술을 활용해 무대 공간 영상을 확장하는 기술로, ‘버티고’ 엔진이 실제 무대 디자인을 자동으로 학습해 무대 세트 이미지만으로도 무대를 180도 전체로 확장할 수 있다.

이 기술은 생성형 AI 기반 고품질 영상 확장 기술을 8K 콘텐츠에 적용하여, 첨단 몰입형 디바이스에서 고품질의 공간 미디어 소비를 가능하게 한다. 버티고 비전은 아직 개발 초기 단계에 있으며, 시범 콘텐츠를 제작한 바 있다. KBS는 버티고 비전을 통해 미래의 공간 컴퓨팅 시대에 맞춘 새로운 미디어 경험을 제공하기 위해 노력하고 있다.

3-5. 버티고 사업화

KBS는 ‘버티고’ 기술 개발과 관련 콘텐츠 제작 경험을 바탕으로 외부 사업화를 추진하며, ‘버티고’, ‘버티고 라이브’, ‘버티고 비전’과 같은 세 가지 형태로 ‘버티고’ 제품을 구성했다.

버티고 제품화 과정에서 KBS는 캐논코리아와 협력하여 버티고 솔루션을 캐논 카메라 번들로 제공하고, 피드백을 통해 유료 버전을 출시하기 위해 공동으로 노력했다. 협력에 앞서 2023년 4월에 ‘KBS-캐논코리아’는 ‘AI&8K 사업 협력’ 양해각서(MOU)를 체결한 바 있다(매일일보, 2023. 4. 13).

또한, 8K 초고해상도 영상 제품에 특화되어 있는 일본의 아스트로디자인과 협력하여 KBS의 AI 기술과 아스트로디자인의 8K 카메라 실시간 제품을 결합한 형태로 상용화를 추진 중에 있다. 아스트로디자인과도 2024년 3월 관련 양해각서(MOU)를 체결했다(방송과기술, 2024. 4. 4).

버티고 기술은 음반 업계의 디지털 앨범 제작에도 활용되었다. KBS는 2024년 6월 지니뮤직과 협력해 AI 직캠 기술을 활용한 디지털 앨범을 제작했다. 음반 업계에서 AI 버티고 기술을 활용한 사례는 처음이며, 그동안 뮤직뱅크를 포함한 다양한 KBS 방송 프로그램에 버티고 기술을 적용해 AI 엔진을 학습하고 편집 기술을 고도화한 결과라고 할 수 있을 것이다(KBS뉴스, 2024. 6. 19).

글로벌 시장 진출 노력의 일환으로, 일본 NHK와 협력하여 2024년 8월 NHK에서 특별 편성된 ‘2024 NHK MUSIC EXPO’ 공연현장에 KBS AI 버티고 기술을 기반으로 8K 고화질 카메라와 결합한 형태의 직캠영상을 공동으로 제작했다(더쿠, 2024. 8. 22). 이를 계기로, NHK에서 야심차게 발족한 AI기반 미래방송 기술 선도하기 위해 특별조직인 ‘NHK Media Innovation Center’와 AI 미디어 기술 발전을 위해 공동으로 협력해 나갈 계획이다.

4. AI 미디어 서비스 확대

KBS는 ‘버티고’ 이외에도 다양한 미디어 서비스 분야에도 AI 기술 적용을 확장하고자 한다. 대표적인 AI 미디어 서비스 분야로는 AI 컬러복원, 스토리보드 생성, 자동 편집, 다국어 자막 서비스 등이라 할 수 있다.

AI 기술 적용을 준비하고 있는 첫 번째 서비스는 AI 컬러 복원이다. KBS는 과거의 흑백 영상 자료를 현대적으로 재해석하고자 AI 컬러 복원 기술을 활용하고 있다. KBS가 보유하고 있는 방대한 아카이브 중 상당수는 흑백 영상으로, AI 컬러 복원 기술은 이러한 영상에 색을 추가해 생생한 시청 경험과 역사적 가치를 증대시킬 수 있다. AI 엔진이 다양한 색상과 조명을 학습할수록 더욱 정밀한 컬러복원이 가능해진다.

KBS미디어기술연구소는 AI 기술을 바탕으로 2022년부터 ‘컬러로 보는 우리의 얼굴’ 복원을 시작으로, 2023년에는 ‘정전협정 70주년 기념 판문점’, 1972년 방영된 국민 드라마 ‘여로’를 컬러로 복원했다.

컬러 복원 과정에서 AI 기술을 활용해 많은 수작업을 대체했으며, 향후에도 컬러 복원 관련 AI 기술을 지속적으로 고도화해 나갈 계획이다. AI 컬러 복원 프로세스는 그림7과 같다.

AI 기술 개발을 검토 중인 두 번째는 AI 스토리보드 서비스이다. AI 스토리보드는 콘텐츠 제작 과정을 자동화하기 위한 핵심 기술로, 생성형 AI를 활용하여 프롬프트 기반으로 스토리보드를 자동으로 생성하는 기술이다. 이 기술이 개발되면 콘텐츠 제작자들은 신속하고 효율적으로 콘텐츠를 기획하고 제작할 수 있으며, 더 많은 시간을 창의적인 콘텐츠 제작에 집중할 수 있게 될 것이다. 영화 제작 등 제작호흡이 긴 분야에서 사용되는 정교한 프리비즈(사전 시각화) 기술이 일일드라마나 웹예능 등 호흡이 짧은 콘텐츠 분야로 확산되는 계기가 될 수 있다. 이를 통해 보다 창의적인 콘텐츠 제작이 가능하며, 글로벌 K-콘텐츠의 경쟁력을 높이는데 기여하게 될 것이다.

AI 기술 개발을 검토 중인 세 번째는 AI 자동 가편집 서비스이다. 예능 콘텐츠(특히 스튜디오 예능) 제작의 경우, 멀티 카메라 설치와 조작에 따른 제약이 많고, 다수의 제작 인력이 필요하다. 이러한 제약 상황을 해결하고, 효과적으로 K-POP 예능 콘텐츠를 제작하기 위해, AI 기반의 편집 및 제작이 가능한 ‘AI 버추얼 디렉터’ 개발을 고려하고 있다. ‘AI 버추얼 디렉터’ 핵심 기술로는 멀티 고해상도 PTZ 카메라 설치 및 운영 최적화, 실시간 비디오 신호 트래킹, 오디오·비디오 신호 분석을 통한 화자 인식 및 자동 컷팅, 그리고 자동 프레이밍 같은 요소기술이 필요하다.

AI 기술 개발을 계획 중인 네 번째는 AI 다국어 자막 서비스이다. AI 다국어 자막 기술은 콘텐츠의 글로벌 유통을 위한 필수 요소로, 한국어 자막뿐만 아니라 다양한 외국어 자막 생성을 가능하게 한다. 이 기술은 음성을 인식하여 한국어 자막을 생성한 후, 이를 다국어로 변환하는 과정으로 진행될 수 있다. 이를 위해 DeepL 등 최신 AI 기술을 활용하여 한국어 자막을 영어를 비롯한 여러 외국어로 변환한다. 이때, 방송용어에 특화된 단어집을 구축하고 AI 모델을 학습시켜 변환 기능을 개선하면 방송 콘텐츠에 최적화된 자막 생성이 가능해질 것이다.

5. 마치며

AI 기술은 여러 산업 전반에 걸쳐 혁신을 일으키고 있으며, 그 도입은 이제 선택이 아닌 필수로 여겨지고 있다. 특히, 방송 미디어에서 AI의 활용은 콘텐츠 제작의 효율성을 향상시키고, 새로운 미디어 경험을 창출하는 데 중요한 역할을 할 것이다. KBS가 추진한 ‘버티고 프로젝트’는 이러한 흐름을 잘 보여주는 성공적인 사례로, AI 기술이 방송 제작 과정에서 비용 절감은 물론 창의적인 콘텐츠 생산을 어떻게 가능하게 할 수 있는지를 입증했다.

향후, AI 기술의 발전은 더욱 빠르게 진행될 것이며, 이를 적극적으로 활용하는 미디어 기업들은 새로운 성장 동력을 확보하게 될 것이다. 특히 생성형 AI 기반의 기술들이 점차 고도화됨에 따라, 미디어 제작 환경은 더 자동화되고, 더 창의적이며, 더 글로벌화된 형태로 진화해 갈 것이다.

하지만, 우리나라의 현실은 미국, 중국 등 AI 기술 선진국에 비해 AI 기술 투자와 시장 규모에서 상대적으로 뒤처져 있는 상황이다. 따라서 정부 차원에서 적극적인 AI 지원 정책과 관련 인프라 투자가 필수적이다.

특히, AI를 활용한 방송 제작 기술은 콘텐츠 경쟁력 강화와 글로벌 시장 진출의 중요한 열쇠이므로, 관련 연구와 개발에 대한 지원이 무엇보다 중요한 시기라 할 수 있다.

다행히 정부는 그림8의 ‘2024년도 AI 기반 미디어·콘텐츠 10대 핵심응용기술에 대한 성장지원체계’와 같이 미디어·콘텐츠 분야의 핵심기술 개발에 대해 지원하고 있다. 다만, 단편적인 지원보다는 체계적이고 지속적인 관심과 지원을 통해 미디어 산업의 혁신과 성장이 이어지고, KBS를 비롯한 국내 방송·미디어 관련 업계들이 AI 트랜스포메이션을 지속적으로 추진한다면, 한국의 미디어 산업은 세계적인 경쟁력을 유지하며 성장할 수 있을 것이다.