한국방송통신전파진흥원MEDIA ISSUE & TREND Vol.64

1. 들어가며

최근 산업계에 가장 핫(HOT)한 주제를 꼽으라면 AI를 꼽을 수 있다. 금융, 제조, 유통, 농업, 교통 등 산업 전반에 AI가 적용되지 않는 곳이 없을 정도이며 방송·영상 분야도 역시 예외는 아니다. AI를 이용한 콘텐츠 제작 자동화나 AI 기반 자막 생성과 번역, AI 분석을 이용한 디지털 맞춤형 광고, 딥페이크 기술을 이용한 캐릭터 창조는 물론 AI를 이용해 기존의 스토리 구조를 분석하거나 흥미로운 이야기 전개를 제안하는 등 스토리텔링 작업에도 적극 활용되고 있다. 이와 함께 미디어의 주 플랫폼이 된 스트리밍 서비스의 가장 큰 변화와 특징을 꼽으라면 지난해를 기점으로 스포츠 중계가 OTT의 핵심 콘텐츠로 자리 잡았다는 것이다. 국내 OTT의 후발주자였던 쿠팡플레이(Coupang Play)가 유럽 축구 리그를 시작으로 스포츠 중계를 통해 국내 OTT의 주요 플레이어(Player)로 자리 잡은 것은 물론 이제는 티빙(TVING)과 토종 OTT 1~2위를 다투고 있다. 티빙 역시 2024년 KBO 프로야구 디지털 독점 중계를 통해 넷플릭스와 스트리밍 경쟁에서 차이를 좁혀가고 있다. 지난 7월과 8월 웨이브는 올림픽 중계를 통해 국내에서도 스트리밍 서비스가 스포츠 중계에 대세임을 보여주었다.

2. AI와 스포츠

스포츠 분야에서 AI를 활용해 콘텐츠 제작을 자동화할 뿐 아니라 경기 하이라이트 영상을 만들고, 선수들의 움직임을 즉각 파악함으로써 경기 내용을 분석하고 데이터를 생성하며 팬들의 실시간 반응을 살피면서 상호작용을 높이는 등 스포츠 미디어의 생산성과 시청자의 이용 경험을 혁신적으로 변화시키고 있다. AI를 이용하면 스포츠를 중계하는 방송사나 OTT 서비스는 더 빠르고 정확한 콘텐츠를 시청자들에게 제공할 수 있게 됐고, 시청자들도 보다 몰입감 있는 경기를 즐길 수 있게 됐다.

① 자동 하이라이트 영상 제작

IBM은 왓슨(Watson)¹⁾의 AI 기술을 활용해 스포츠 경기의 자동 하이라이트를 생성한다. 테니스와 골프와 같은 스포츠에서 중요한 순간을 자동으로 클립(Clip)화 한 후 이용자들이 이 영상을 즉각적으로 시청할 수 있도록 해준다. WSC SPORTS(https://wsc-sports.com)도 AI 기반의 스포츠 미디어 솔루션을 제공하고 있는데, 이중 AI와 머신러닝을 활용해 경기 중에 발생하는 득점 장면이나 파울 장면 같은 중요한 이벤트를 실시간으로 분석함으로써 이 데이터를 바탕으로 사람이 편집할 필요 없이 자동으로 하이라이트 영상을 생성하고 방송, OTT, 소셜 미디어 등 다양한 플랫폼을 통해 빠르게 팬들에게 콘텐츠를 제공하고 있다. WSC SPORTS는 현재 NBA, MLS(미국 프로 축구 리그), PGA Tour 등 다양한 스포츠 경기의 하이라이트 영상을 제작하고 있다.

② 실시간 경기 분석

AI는 실시간으로 경기를 분석해 각 선수들의 동작이나 경기 흐름, 심지어는 전술을 파악해 시각화하고 시청자들에게 인포그래픽으로 제공하기도 한다.

AWS(아마존 웹 서비스)의 Next Gen Stats는 AI를 기반으로 NFL 경기 중 선수들의 움직임을 분석하고 데이터를 바탕으로 그림2와 같이 자동으로 차트, 그래프, 동영상 리플레이 등 시각화된 자료를 자동으로 만들어서 방송사에 제공한다. 테니스 경기에서는 호크 아이(Hawk-Eye) 시스템을 이용해 공의 위치와 이동 궤적을 실시간으로 추적해 경기를 분석하고, 이를 바탕으로 시각적인 자료와 통계 데이터를 자동으로 생성하고 있다.

③ 자동 편집과 해설 보조

앞서 기술한 것처럼 AI는 경기의 장면을 분석해서 자동으로 편집해 하이라이트 영상을 만들뿐 아니라 경기를 해설하는 보조 역할까지 하고 있다. 인텔은 AI와 360도 카메라 영상을 결합해 경기장 내 모든 각도의 장면을 포착하고 이를 바탕으로 실시간 리플레이(Replay)와 해설을 자동으로 제공할 플랫폼을 구축했다. 특히 음성 합성 기술을 이용해 경기 상황에 따라 즉각적인 해설을 제공하면서 실시간 스포츠 중계에도 적극 활용할 수 있게 했다.

3. 한국의 AI와 스포츠

방송·미디어·엔터테인먼트 산업을 위한 세계 최대 규모의 2024 NAB에서도 AI와 머신러닝을 활용한 콘텐츠 제작과 편집 자동화 솔루션이 소개되면서 영상콘텐츠 제작의 효율화와 콘텐츠 제작 확장성의 방향이 제시되었다. AI와 결합된 스포츠 중계는 제작의 간소화뿐만 아니라 팬들에게는 향상된 경험을 제공하면서 스포츠 방송을 진화시키고, 팬들의 참여를 확대시키면서 스포츠 엔터테인먼트 산업을 한 걸음 더 전진하는 모습을 보여주었다. 그리고 이 분야에 우리나라 기업도 빠지지 않았다.

AI 기반의 무인 스포츠 중계 플랫폼을 표방하는 픽셀스코프(Pixelscope)는 디지털 영상 처리와 관련된 첨단 기술을 제공하는 한국의 대표적인 기술 기업이다. 픽셀스코프는 이미지와 비디오 품질 향상, 실시간 스트리밍 최적화, 3D 영상 처리 등 다양한 디지털 미디어 관련 기술 개발을 통해 방송과 미디어, 게임 분야의 콘텐츠를 제작하고 있다. 특히 픽셀스코프는 2021년부터 AI와 카메라 자동화를 접목시켜 한국에서 300회 이상 탁구 무인 중계를 진행했고, 이를 바탕으로 2023년에는 US OPEN 탁구 챔피언십 중계, 2024년 팬아메리칸컵(Pan-American Cup) 탁구대회, U.S National 탁구 챔피언십을 중계할 수 있었다.

① 픽셀스코프의 AI 기술, PIXELCAST

픽셀스코프의 픽셀캐스트(PIXELCAST)는 사물 추적(Tracking) 기술을 바탕으로 실시간으로 데이터를 수집하고 분석해 고속 카메라와 AI 딥러닝, 영상처리기술을 결합시켜 스포츠 경기를 자동으로 중계해 주는 기술이다. 픽셀캐스트는 AI를 활용해 수집한 경기 데이터를 방송 자막이나 경기 현장의 중계판에 제공함으로써 시청자나 관람객들에게 빠르고 정확한 정보를 제공하게 된다. 픽셀캐스트에 활용되는 핵심 기술은 ‘AI 기반 사물 인식 기술’과 ‘딥러닝 기반의 영상 제작과 처리 기술’이라 할 수 있다.

AI 기반 사물 인식(Object Recognition) 기술

픽셀스코프의 AI 핵심 기술 중 하나가 ‘사물 인식’ 기술이다. 영상 내에서 인물이나 탁구공 등 사물을 컴퓨터 비전 알고리즘을 통해 실시간, 자동으로 인식하고 이를 분류·분석함으로써 스포츠 중계 자동화에 활용하는 방식이다. 영상 콘텐츠 내에서 인식된 객체에 따라 자동 초점 조정이나 특정 부분을 강조할 수 있고 AR·VR 콘텐츠에서도 이 기술을 활용해 더 강력한 인터랙티브한 콘텐츠를 제공할 수 있다.

딥러닝 기반의 3D 콘텐츠 제작 및 처리 기술

이 기술은 딥러닝 알고리즘을 이용해 3D 모델의 디테일을 자동으로 보강하고 텍스처와 쉐이딩을 자연스럽게 적용해 3D 그래픽의 실시간 렌더링 성능을 개선시켜 VR·AR 애플리케이션에서 부드럽고 현실감 있는 콘텐츠를 제공한다. 이 기술은 게임이나 가상현실 환경에서 3D 모델 최적화를 돕는다.

② 스포츠에 적용되는 AI 중계 기술

공을 갖고 하는 스포츠 경기를 중계하기 위해선 공이 어디에 있고 어디로 가는지 그 방향을 정확히 파악해야 한다. 픽셀스코프는 딥러닝을 통해 학습된 AI 시스템을 바탕으로 선수의 움직임과 공의 위치를 포착하고 이를 실시간으로 3D 좌표로 수집한다. 그리고 이렇게 수집된 데이터는 방송용 카메라와 결합시킨 여러 대의 로봇에 전송되고 다시 AI는 각 카메라를 제어해 자동으로 방송을 중계하게 하는 역할을 한다. 즉 ‘사물 인식 - 트래킹(Tracking) - 데이터 수집과 전송 - 영상 촬영 - 영상 수집 - 영상 편집’의 전 과정에서 AI를 이용하는 것이다.

픽셀스코프가 무인 중계하고 있는 탁구(Table Tennis)는 구기 종목에서 가장 가벼운 공(2.7g)을 사용하는 종목이다. 깃털로 만들어진 배드민턴의 셔틀콕(약 4.75g)의 절반 수준의 무게이고 시속 150km의 강속구를 뿜어내는 야구공(약 142g)의 1/50 수준이다. 하지만 탁구공은 경기 중 평균 120km/h의 속도로 진행되며, 남자 선수의 경우 최고 250km/h의 속도를 기록할 정도로 빠른 움직임을 나타내기도 한다. 그만큼 무인 중계를 위해서는 빠르고 정확한 추적기술을 요하는 경기 중 하나인 것이다.²⁾

픽셀스코프의 권기환 대표는 단순히 AI가 카메라를 제어하는 것이 아니라는 것을 강조한다. 무인 중계를 위해서는 로봇과 방송용 카메라를 결합시킨 하나의 장비가 필요하다. 그리고 방송 수준의 중계 퀄리티를 위해 카메라의 ‘PAN’, ‘TILT’, ‘ZOOM’ 기능이 자동으로 이루어져야 한다. 그리고 경기의 흐름에 따라 자연스럽게 영상이 전환되어야 비로소 무인 중계 자동화 시스템이 활용될 수 있다. 픽셀캐스트는 하나의 카메라를 이용해 단순히 공과 선수의 움직임을 추적하는 것이 아니라 여러 대의 카메라를 이용하기 때문에 결과적으로 다양한 각도에서 다양한 장면을 제공할 수 있어 내가 선택한 팀, 내가 응원하는 선수 위주의 영상을 볼 수도 있다. 현재 여러 대의 방송용 카메라를 AI가 실시간으로 제어하고 영상을 만들어내는 기술은 픽셀스코프가 세계에서 유일하게 보유하고 사용하고 있는 기술이다.

이렇게 촬영된 영상은 모두 데이터화되고, AI는 수집된 데이터를 다시 자동 편집을 통해 중계 영상을 만들게 된다.

픽셀스코프의 픽셀캐스트(PIXELCAST)는 인공지능을 기반으로 스포츠 경기를 촬영하고, 편집, 송출하는 ‘자동 중계시스템’과 경기 중 선수들의 움직임과 볼 위치를 ‘실시간으로 데이터 분석’을 통해 방송자막과 중계판에 제공하고, AI 알고리즘을 통해 ‘자동으로 콘텐츠를 생성’하는 세 가지 핵심기술의 결정체라 할 수 있다.

③ Human을 돕는 AI 중계 기술

픽셀스코프 권기환 대표는 촬영부터 편집-송출까지 AI를 통해 방송 무인화를 이뤄내고 있지만, 그렇다고 AI가 사람의 모든 일을 대신하는 것은 아니라고 한다. 기존에 사람들이 스포츠 중계에서 해 왔던 역할 중 위험도가 높고, 많은 비용이 드는 부분들을 AI 중계가 대신하면서 사람들은 부가가치 높고 창의적인 역할에 집중할 수 있다는 것이다. 즉, AI 중계 기술은 인간의 창의력과 감성적 판단을 대체하기보다는, 효율성을 높이고 새로운 기회 창출의 보완 역할로 활용하면 이상적인 시너지를 창출할 수 있다.

실시간 데이터 분석과 통계 제공

AI가 선수들의 움직임, 속도, 패스 등 복잡한 경기 데이터를 실시간으로 분석해 해설자나 분석자에게 전달하고, 이를 전달받은 해설자는 정보를 바탕으로 더 깊이 있는 설명과 전략적 통찰과 전문적인 의견을 시청자들에게 전달할 수 있다.

맞춤형 중계 데이터와 맞춤형 하이라이트 생성

최근에는 기존 방송의 일방성(일방적 중계)을 벗어나 시청자 개개인의 기호를 반영한 ‘편파 중계’ 같은 콘텐츠들이 제작되고 있다. AI는 경기 데이터뿐만 아니라 시청자의 선호도를 반영해 시청자가 응원하는 특정 선수나 팀에 초점한 경기 데이터를 수집·가공해 중계방송 자막에 반영함으로써 시청자마다 서로 다른 데이터를 제공 받을 수 있다. 그리고 시청자가 선호할 만한 각기 다른 하이라이트 영상을 제작해 서비스할 수 있다. 2024 파리올림픽을 스트리밍으로 중계한 NBC유니버설의 피콕(Peacock)과 WBD의 MAX, 디스커버리+는 AI를 이용한 개인 맞춤형 하이라이트 서비스를 제공했다.

자동 음성 인식 및 자막 생성

미디어에서 AI를 이용한 다양한 기술 중 가장 효과가 큰 기술 중 하나가 음성 인식 기술을 통한 2차 음성 저작과 실시간 자막 변환 기술이다. AI를 활용하면 다양한 언어와 자막으로 스포츠를 중계할 수 있는 것은 물론 딥페이크를 함께 활용하면 유명 선수나 해설자의 중계를 각국의 언어로 제공받을 수 있게 된다.

4. 마치며

AI 기술의 발전은 스포츠 중계 분야에서 혁신적인 변화를 가져오고 있다. 경기 분석, 자동화된 하이라이트 생성, 맞춤형 콘텐츠 제공 등 다양한 방식으로 스포츠 중계에 적용되면서 효율성을 높이고 있지만 단순히 사람들이 하는 역할을 축소하는 효율성 차원을 넘어 사람들에게 새로운 기회 창출을 제공하는 방향을 제공하고 있다. 향후 AI와 스포츠 중계의 결합은 기술과 인간의 협업을 통해 더 발전된 형태로 나아갈 수 있을 것이다.

세계에서 유일한 무인 멀티 촬영 및 영상 제작 자동화 기술을 갖고 있는 픽셀스코프나, 2024 파리 올림픽에서 선보였던 피콕의 ‘멀티뷰(Multiview)’나 골드존(Gold Zone), WBD의 타임라인 마커(Timeline highlights Markers)나 골드 메달 알림(Gold Medal Alerts), 인 플레이어 디스커버리 레일(In-Player Discovery Rail) 같이 앞으로 AI를 활용한 스포츠 중계와 영상 서비스는 시청자들의 편의성과 몰입 경험 확대를 중심으로 발전할 것으로 보인다. 향후 AI와 함께 발전할 스포츠 중계 분야를 간략히 정리하면 다음과 같다.

Ⅰ. AI와 인간의 협업: 창의력과 데이터의 결합

AI가 스포츠 중계에서 반복적이고 기계적인 작업을 담당함으로써 인간은 더 창의적이고 감성적인 측면에 집중할 수 있게 된다. 이런 협업을 통해 기술이 인간의 창의력을 극대화하는 역할을 촉진하고, 단순한 정보 전달을 넘어서 새로운 경험을 제공하게 될 것이다.

Ⅱ. 개인화된 스포츠 중계의 시대

AI의 가장 큰 장점 중 하나는 개인화된 경험을 제공할 수 있다는 점이다. 2024 파리 올림픽 중계처럼 AI는 시청자의 선호도를 반영한 맞춤형 하이라이트와 경기 데이터를 제공하여 각기 다른 시청자가 자신만의 콘텐츠를 즐길 수 있도록 서비스를 제공한다. 앞으로 AI는 시청자 개개인의 기호에 맞춘 맞춤형 중계 서비스를 제공함으로써, 모든 시청자가 자신이 응원하는 팀이나 선수에 집중할 수 있는 차별화된 경험을 제공할 것이다.

Ⅲ. 글로벌 접근성의 확대

AI 기술은 다국어 실시간 번역과 음성 합성 기술을 통해 전 세계 시청자들에게 접근성을 높이고 있다. 최근 CNN은 간판 앵커들을 아바타화한 AI 기반 뉴스 방송국 CNN 채널1을 개국했다. 유명 앵커들의 목소리를 AI로 재현하여 실시간으로 뉴스를 제공하는 것이다. 이러한 기술을 사용하면, 유명 스포츠 스타를 활용해 여러 국가의 언어로 실시간 해설을 제공할 수 있으며 자동 생성된 자막을 통해 청각장애인도 쉽게 스포츠를 즐길 수 있게 될 것이다. 이제 스포츠 중계에서는 더 이상 언어가 장벽이 될 수 없게 되어 글로벌 확장이 더 가속화 될 것으로 보인다.

Ⅳ. 경기 중계 자동화의 진화

픽셀스코프와 같은 기업들이 제공하는 AI 기반 중계 시스템은 경기 중계 자동화를 가속화 시킬 것이다. 이러한 기술을 통해 자동카메라 제어와 실시간 경기 데이터 수집이 용이해져 더 빠르고 정밀한 중계가 가능해졌으며, 이는 중소 규모의 경기나 덜 주목받는 스포츠 종목에서도 고품질의 중계를 제공할 수 있는 기회를 열어주게 되었다. 향후 AI 기술의 발전은 더 많은 스포츠 종목에 중계 자동화를 적용함으로써 전 세계 스포츠 팬들에게 더 많은 콘텐츠를 제공하게 될 것이며 NBC유니버셜과 WBD가 그랬던 것처럼 올림픽과 같은 많은 종목이 열리는 국제 대회에서 AI 기술 활용은 더 극대화되고 진화할 것이다.

Ⅴ. 스포츠 산업의 확장

마지막으로, AI와 스포츠 중계의 결합은 단지 중계의 자동화에 그치지 않고, 스포츠 산업 전체를 확장하는 촉매제가 될 것으로 보인다. AI를 통한 실시간 분석과 중계 기술은 더 정교한 데이터 기반의 코칭 시스템으로 이어지면서 프로 선수뿐만 아니라 아마추어 선수들의 경기력을 높이는 데도 적극 활용되며 스포츠 교육산업의 발전을 촉진하게 될 것이다. 이와 더불어 팬들의 참여도를 높이는 인터랙티브한 콘텐츠, AR·VR 기술과 결합한 실시간 경기 관람 경험 등 AI는 미래 스포츠 중계의 핵심적인 역할을 하면서 스포츠 산업의 더 큰 확장을 촉진할 것이다.

AI는 스포츠 중계의 모든 측면에서 혁신을 주도하고 있다. 이러한 기술 발전은 사람과 기술의 협업을 통해 더욱 큰 시너지를 발휘하면서 단순한 정보 전달을 넘어, 개인화된 맞춤형 경험, 글로벌 접근성, 실시간 분석과 창의적 해설이 결합된 새로운 미디어 환경으로 발전해 나갈 것으로 보인다. AI 기술이 스포츠 산업에서 인간의 창의력과 감성을 더욱 돋보이게 하며, 스포츠 미디어의 미래를 한층 더 풍부하고 다채롭게 만들어 가는 것을 기대해 본다.