한국방송통신전파진흥원MEDIA ISSUE & TREND Vol.64

1. 들어가며

딥러닝(Deep Learning) 기술이 등장하면서 본격적인 AI 시대가 시작되었다. 제조업에서는 자율화된 생산 라인이 더욱 정교해졌고, 의료 분야에서는 질병을 조기에 발견하며 진료의 정확도를 높였다. 금융에서는 실시간 데이터 분석을 통해 리스크 관리와 사기 탐지, 자동 투자 전략이 발전했고, 자율 주행 기술은 교통과 물류 산업을 변화시켰다. 딥러닝 기술은 산업 구조를 재구성하고 효율성과 성장을 이끄는 주요 동력으로 자리 잡고 있으며 미디어 콘텐츠 분야에도 많은 영향을 주고 있다.

이제 LLM(Large Language Model) 시대가 도래하면서 AI는 인간의 상호작용을 근본적으로 변화시키고 있다. 이전의 AI는 특정 문제 해결에만 초점이 맞춰졌지만, LLM은 자연어 이해와 창의적 대화 능력을 통해 활용 범위를 크게 확장시켰다. 사람들은 복잡한 문제 해결, 글쓰기, 코드 작성, 감정적 지지 등 다양한 역할을 AI에게 기대하며, AI는 보조 역할을 넘어 인간과 협력하는 파트너로 자리 잡게 되었다.

최근 LMM(Large Multimodal Model)의 등장으로 AI는 또 한 번의 도약을 이루었다. 기존의 LLM이 언어 기반 상호작용에 중점을 두었다면, LMM은 이를 넘어 멀티모달 처리 능력을 갖춘 AI로 발전했다. 이제 텍스트뿐만 아니라 이미지를 이해하고, 해석하며, 심지어 이미지와 텍스트를 결합한 복잡한 작업까지 수행할 수 있게 된 것이다. 이를 통해 사용자는 글과 이미지를 넘나드는 더욱 직관적이고 풍부한 상호작용이 가능해졌으며, AI가 해결할 수 있는 문제의 범위가 크게 확장되었다.

2. 딥러닝을 활용한 미디어 혁신

2-1. 멀티모달 검색 플랫폼

AI 기술의 발달로 검색 방식도 새로운 차원으로 진화하고 있다. 그 중심에는 벡터 임베딩을 활용한 검색이 있으며, 특히 영상 검색에서 혁신적인 변화를 이끌고 있다. 벡터 임베딩을 통해 텍스트뿐만 아니라 이미지, 영상, 음성 데이터를 고차원 벡터 공간에 매핑함으로써, 의미 기반의 유사성까지 탐지할 수 있게 되었다.

기존 키워드 기반 검색은 사용자가 정확한 단어나 문장을 입력해야만 관련된 결과를 얻을 수 있었으나, 벡터 임베딩 기반 검색은 입력된 데이터를 벡터로 변환하고, 유사한 벡터를 찾는 방식으로 동작하게 된다. 이를 통해 검색의 범위와 정확도는 획기적으로 향상된다. 예를 들어, 영상에서 인물 검색을 하고자 할 때, 특정 인물의 이름이 아닌 해당 인물의 얼굴 특징을 벡터화해 비슷한 얼굴을 찾아내는 방식이라고 할 수 있다. 이는 방송 아카이브, 영화 데이터베이스 등에서 특정 배우가 등장하는 장면을 손쉽게 찾을 수 있게 해준다.

대사 검색 또한 텍스트를 정확하게 일치시키는 것에 의존하지 않고, 벡터 임베딩을 활용하면 유사한 의미를 가진 대사나 대화 패턴을 찾을 수 있다. 예를 들어, “힘들어”라는 대사를 검색했을 때, 그와 비슷한 맥락에서 나온 “지치다”, “피곤하다” 등의 표현이 포함된 장면들을 쉽게 탐지할 수 있다. 이는 자연어 처리 기술과 벡터 임베딩이 결합되어, 단순한 단어 매칭을 넘어 의미적 유사성을 포착하는 방법이다.

최신 영상 검색 기술에서는 벡터 임베딩을 통해 영상의 시각적 특징을 분석하는데, 이를 통해 특정 장면의 배경, 인물의 감정, 동작 등을 검색할 수 있다. 예를 들어, “비 오는 날 창밖을 바라보는 인물”을 검색한다면, 벡터 임베딩을 통해 그 장면의 분위기, 배경, 인물의 동작이 일치하거나 유사한 장면들이 결과로 제시된다. 이처럼 복잡한 요소들이 벡터화되어 검색되기 때문에, 사용자는 훨씬 더 직관적이고 의미 있는 결과를 얻을 수 있게 된다.

SBS는 하루에 수백에서 수천 시간에 달하는 촬영본을 제작하며, 방송된 영상들은 이미 수십만 시간에 이르는 분량으로 아카이브 시스템에 보관되고 있다. 이렇게 방대한 양의 영상 콘텐츠를 효율적으로 관리하려면 장면 단위의 메타데이터 생성과 관리가 필수적이다. 그러나 지금까지 메타데이터는 프로그램과 회차 단위로만 관리되어 왔다.

2021년경, 상용 벡터 DB가 본격적으로 등장하면서 SBS에서도 메타데이터 없이 장면을 검색할 수 있는 벡터 임베딩 기술을 개발하게 되었다. 가장 활용도가 높을 것으로 예상된 얼굴인식 기술을 개발해, 검색에 적용함으로써 그 가능성을 입증했다. 현재 ‘AI 통합플랫폼’을 통해 방대한 아카이브 내에서 출연자가 수백만 명에 달하더라도 별도의 학습이나 태깅 없이 인물을 찾아낼 수 있는 방식으로 서비스되고 있다.

최근에는 뉴스 콘텐츠에 대사 검색 기능을 결합하여, 팩트 체크와 같은 다양한 목적으로 사내 인프라에 적용하고 있으며, 최신 AI 기술들이 점점 추가되면서 SBS의 영상 관리 시스템에 큰 변화를 일으키고 있다.

2-2. 지능형 통계 플랫폼

지상파 방송사의 성과 지표는 이제 더 이상 실시간 TV 시청률에만 의존하지 않고, VOD 조회수로 점점 대체되고 있다. OTT를 비롯한 다양한 디지털 플랫폼에서 시청자를 확보하는 것이 매우 중요한 과제가 된 현재, 방송사는 새로운 변화의 중심에 서 있다.

이 변화에 발맞춰 지상파 방송사에서도 디지털 클립 제작이 활발히 이루어지고 있다. 불과 몇 년 전만 해도 드라마, 예능, 교양 프로그램을 단순히 회차별로 커팅하여 제공하는 방식이 주를 이루었지만, 최근에는 시청자 맞춤형 서비스가 크게 확대되고 있다. 구작 예능·드라마 채널, 동물 전용 버티컬 채널, 방송 하이라이트 채널 등 다양한 관심사를 반영한 맞춤형 서비스가 증가하고 있으며, 이러한 변화는 빠르게 가속화되고 있다.

결국, 트렌드를 반영한 다양한 채널 기획과 신속한 콘텐츠 제작이 필수적인 시대가 되었지만, 여전히 100% 수작업에 의존하는 현재의 제작 워크플로우로는 이러한 요구에 빠르게 대응하기 어려운 것이 현실이다.

이를 해결하기 위해 SBS는 채널 및 클립 단위로 수집된 기초 시청 통계 데이터를 AI 기반의 버티컬 통계로 가공하여, 디지털 클립 제작 시 더욱 풍부한 인사이트를 제공하는 시스템을 구현했다. 이로써 제작자는 데이터를 바탕으로 시청자 맞춤형 콘텐츠를 더욱 효과적으로 제작할 수 있게 되었다.

예능 장르의 인기 동영상 클립을 분석해 보면, 주로 음악 프로그램이나 예능 프로그램에 출연한 특정 인물이 주축을 이루는 경우가 많다는 것을 알 수 있다. 드라마 장르에서는 키스신과 같은 특정 행동이 상위 인기 클립을 차지하는 경향이 두드러진다. 하지만, 이러한 인기 클립의 조회수는 전 세계 여러 국가에서 발생한 결과이기 때문에, 특정 인물이나 특정 행동에 대한 선호도가 국가마다 다를 수 있다는 점도 반드시 고려해야 한다.

결국, 글로벌 시장에서 경쟁력 있는 OTT 콘텐츠를 꾸준히 제작하려면, 개인의 직관에 의존하기보다는 데이터 기반 분석을 통해 인사이트를 도출하고, 이를 기획 단계에서부터 지속적으로 반영해야 한다. 이를 위해, SBS에서는 디지털 클립을 체계적으로 그룹화하고, 각 그룹에 속한 클립들을 국가별, 기간별 조회수로 정렬할 수 있는 기능을 개발하여, 더욱 정교한 데이터 분석과 콘텐츠 기획이 가능하도록 지원하고 있다.

2-3. 자율형 미디어 에이전트

실시간 TV 중심의 ‘제작→TV 송출’ 생태계가 비실시간 OTT 중심의 ‘제작→OTT 유통’ 생태계로 전환되면서, 지상파 방송사에서도 디지털 미디어 유통 업무가 확대되고 있다.

디지털 미디어 유통 업무는 유튜브 등 OTT 플랫폼으로 방송 콘텐츠를 배포하고 메타데이터를 관리하는 것을 포함한다. IPTV 등 VOD 서비스를 위한 회차별 동영상 편집 및 메타데이터 관리 업무는 1일 20개 이내 정도로 제한되어 있지만, 유튜브 등의 OTT 플랫폼에 디지털 클립을 제공하려면 수십 개의 채널에서 하루에 수백 개의 동영상을 편집하고 메타데이터를 입력해야 하므로, 비용과 인력 리소스가 대폭 투입될 수밖에 없다.

결국, 기획과 편집 같은 핵심 업무 외에는 단순 반복형 업무가 많기 때문에 현업 제작진에게 큰 부담이 되고 있으며, 워크플로우의 효율화가 절실히 필요한 상황이다.

이를 해결하기 위해 SBS는 버티컬 채널을 신규 생성함과 동시에 AI를 활용한 자동 운영 서비스를 개발했다. 관심 분야별로 디지털 콘텐츠를 선별하고 메타데이터를 자동으로 생성한 후, 버티컬 채널에 자동 업로드하는 기능을 구현했으며, 저작권 정보 등을 자동으로 처리해 주는 기능을 구현했다. 이를 통해 단순 반복 작업을 크게 줄여 제작진들이 핵심 업무에 더 많은 리소스를 투입할 수 있도록 되었다.

또한, 1차로 게시된 디지털 클립을 대상으로 ZIP·Short 포맷 자동 편집을 통해 신규 버티컬 콘텐츠 제작 가능성도 확인했다. 이 모든 과정은 100% 자동화되어 진행되므로 비용 증가 없이 대량의 버티컬 채널과 콘텐츠를 생산할 수 있게 되었고, 현재 차별화된 기능 추가 및 외부에서도 활용 가능한 SaaS 형태의 플랫폼 구축을 목표로 고도화를 진행하고 있다.

2-4. 자막 생성 에이전트

SBS는 2019년부터 미디어 콘텐츠에 적용할 수 있는 STT(Speech To Text) 기술의 상용화를 목표로, 드라마, 교양, 예능 등 장르별 최적화를 추진해 왔다. 이를 위해 빅테크 기업과 협업하며, 촬영본, 아카이브, 클립 등 다양한 미디어 콘텐츠에 해당 기술을 적용하고 있다.

특히, 디지털 클립에 자동 자막을 생성하는 기술을 집중적으로 연구해 왔으며, ACR(Automatic Content Recognition) 기반의 자동 자막 생성 기술을 개발하여 상용화에 성공했다. 이 기술은 워터마크나 DNA 기술을 활용하여 클립 콘텐츠로부터 프로그램 회차 기준 상대 시간 정보를 획득한 후, 전체 회차 자막으로부터 구간 자막을 생성하는 기술이다. 이때, 고성능 STT 기술을 활용하여 TV 클로즈드 캡션 자막의 지연 문제를 해결하게 된다.

일반적인 STT 기반의 한글 자막 생성은 수작업 보정이 필요하나, ACR 기반 한글 자막 생성은 이미 완성된 TV 클로즈드 캡션 자막의 일부를 활용하는 방식으로, 자동화율이 거의 100%에 달해 매우 높은 효율성을 자랑한다. 따라서, 디지털 클립 생산량이 엄청나게 많은 뉴스 분야 등에서 가장 활용도가 높다고 할 수 있고, 실제로도 SBS 유튜브 뉴스 채널에서는 신규 게시물을 실시간 조회하여 ACR 자막을 생성해 주는 에이전트를 운영 중이다.

런닝맨 채널의 사례에서도 약 5만 개의 클립(총 4,000시간 분량)에 자막을 적용할 경우, 클립별로 자막 생성 작업을 해야 하므로 비효율적인 워크플로우가 발생했었다. 하지만 전체 회차(800시간 분량)에만 자막을 생성한 후, ACR 기반 구간 단위 자막을 생성하여 약 5배의 효율성을 얻을 수 있었다.

2-5. 글로벌 성장 지원 플랫폼

수년 전부터 미디어 자막 번역 업무에 AI 기술을 도입하려는 시도는 꾸준히 있어 왔다. 그러나 AI 번역의 품질적 한계로 인해, 실제로는 매우 제한적인 범위에서만 사용될 수밖에 없는 상황이었다.

이에 SBS는 2018년부터 자체적으로 방대한 AI 학습데이터를 구축하기 시작했다. 이를 바탕으로 SBS 콘텐츠에 최적화된 맞춤형 AI 모델을 개발했고, 디지털 채널 성장을 지원하는 CMS(Content Management System)를 구축하여 수작업 시간을 획기적으로 단축하는 성과를 거두었다.

개발된 AI 번역 기술은 SBS의 주요 유튜브 채널에 적용되어 해외 시청자 수가 급증하는 결과를 가져왔다. 특히 SBS Catch 채널에서는 드라마 <펜트하우스> 시즌 1에서 국내 조회수만 급등했으나, 다국어 자막이 적용된 시즌 2에서는 국내외 조회수가 모두 폭발적으로 증가해 ‘자막과 콘텐츠 간의 시너지 효과’를 명확히 확인할 수 있었다.

그러나 다국어 자막의 긍정적인 효과에도 불구하고, AI 번역 과정에서는 여전히 특수 용어 처리, 주어와 목적어의 불일치, 동음이의어 오류 등 여러 문제가 빈번히 발생했다. 이로 인해 번역 업무의 전반적인 효율화에는 한계가 있었기 때문에 SBS는 최근 QC(Quality Control) 작업이 거의 필요 없을 정도의 완전한 자동화를 목표로 연구를 지속하고 있다.

3. LLM 기술을 활용한 미디어 혁신

최근 AI 연구의 중요한 축인 LLM 기술은 미디어 콘텐츠의 번역, 요약, 생성 등 다양한 작업에서 탁월한 성과를 보이고 있다. LLM을 중심으로 한 서비스 개발은 인간의 언어 이해 능력을 모방하는 것을 넘어, 문맥을 깊이 이해하고 이를 바탕으로 정교한 결과물을 생성하는 수준으로 진화하고 있다.

3-1. 문맥 기반 번역을 위한 LLM 도메인 최적화 기술 개발

기존의 기계 번역 시스템은 문장 단위에서 작동하며, 전체 문맥을 고려하지 못하는 한계를 가지고 있었다. 그러나 LLM의 발전은 이 문제를 근원적으로 해결할 수 있는 가능성을 열었다. LLM을 활용한 번역 기술은 향후 기존 번역기들의 성능을 모두 뛰어넘을 것으로 예상되고 있다¹⁾.

SBS는 LLM을 활용한 번역 기술 고도화 연구를 통해 순차적으로 다양한 최적화 방법들을 적용해 보고 있다. 특히, <골 때리는 그녀들>, <런닝맨>, <낭만닥터 김사부>, <배가본드>와 같은 예능, 드라마 장르의 실제 데이터를 대상으로 1차 LLM 번역 최적화 결과를 도출했으며, 그 가능성을 확인했다. 또한, 멀티모달로의 연구 확대 및 MTPE(Machine Translation Post Editing) 플랫폼 연동을 통한 실험을 지속할 예정이다.

3-2. 뉴스 주제 요약을 위한 Distillation 기반 sLLM 개발

뉴스 콘텐츠는 방대한 정보량과 빠르게 변화하는 이슈를 다루기 때문에, 효율적인 요약 및 주제어 추출 기술이 필수적이다. 이를 위해 SBS는 LLM의 성능을 경량화한 sLLM(smaller Large Language Model) 최적화 기술을 개발하고 있으며, Distillation 기술을 통해 이를 구현하고 있다.

Distillation은 대규모 LLM의 지식을 더 작은 모델로 압축하는 과정으로, 성능을 크게 저하시키지 않으면서도 더 가벼운 모델을 생성할 수 있는 방법이다. 이 기술을 활용해 뉴스 기사에서 핵심 주제어나 키워드를 자동으로 추출하는 sLLM을 개발함으로써, 뉴스 제작자들은 빠르고 정확하게 최신 트렌드와 소비 현황을 파악할 수 있게 된다.

3-3. 디지털 콘텐츠 제작을 위한 오픈 소스 LLM 최적화 개발

디지털 콘텐츠는 사용자의 주목을 끌기 위해 짧고 강렬한 제목을 필요로 한다. 이를 위해 SBS는 LLM 파인튜닝을 통해 콘텐츠 제목을 자동으로 생성하는 기술을 개발하고 있다. 이 기술은 콘텐츠의 내용을 분석하여 가장 적합한 제목을 제안하며, 목적에 맞는 최적의 제목 형식을 제공하는데 주안점을 두고 있다.

파인튜닝 과정에서는 특정 콘텐츠 유형에 맞춰 LLM을 미세 조정하여, 텍스트의 어조나 스타일을 자동으로 조정할 수 있다. 예를 들어, 뉴스, 엔터테인먼트, 교육 콘텐츠 등 다양한 카테고리에서 최적화된 제목을 생성할 수 있다.

4. LMM 기술을 활용한 미디어 혁신

LMM은 여러 유형의 데이터를 동시에 처리하고 이해할 수 있는 AI 모델로, 텍스트, 이미지, 오디오 등 다양한 형태의 정보를 통합하여 분석하는 능력을 갖추고 있다²⁾. 이 모델은 각기 다른 데이터 모달리티를 동일한 임베딩 공간으로 변환하여, 서로 다른 데이터 유형 간의 상관관계를 파악하고 종합적인 이해를 제공한다³⁾. 최근에는 모달리티간 Instruction Tuning을 통해 멀티모달 챗봇 형태로도 발전하고 있으며⁴⁾, 모달리티를 확장하는 방식으로 영상 이해 능력을 개선해 가고 있다⁵⁾.

4-1. 특수 효과 제작진을 위한 영상 레퍼런스 검색 서비스

SBS는 제작진이 특정 시각적 스타일, 장면, 또는 기술적 요소를 포함한 레퍼런스를 신속하게 찾아 활용할 수 있는 서비스를 개발 중이며, 최신 LMM을 활용하여 영상 속 색상, 움직임, 장면 구성을 분석해 특수 효과와 관련된 주요 특징을 추출한다. 이를 통해 사용자는 폭발, 물리적 파괴, 조명 효과 등 다양한 시각적 요소가 포함된 장면을 찾을 수 있다.

이 서비스를 활용하면 제작진은 다양한 시각적 요소를 신속하게 검색하여 참고할 수 있다. 예를 들어, 폭발 장면을 연출할 때, 시스템은 폭발의 규모, 연출 방식, 조명 효과 등을 포함한 장면들의 기존 사례들을 자동으로 제공하여, 제작진이 디테일을 구체화할 수 있게 돕는다.

특정 사건이나 상황 등을 검색하는 것도 가능하다. 예를 들어, 드라마나 영화의 소재로 자주 쓰일 수 있는 홍수, 화재, 지진 등 다양한 재해나 사고 상황을 찾을 수 있어, 제작진이 필요한 기술적 상상력을 참고하여 효과를 설계하는 데 도움을 준다.

4-2. 유튜브 크리에이터를 위한 숏폼 콘텐츠 자동 제작 서비스

숏폼 콘텐츠는 소셜 미디어 플랫폼의 급속한 성장과 함께 디지털 크리에이터들에게 매우 중요한 콘텐츠 형식으로 자리 잡았다. 이에 따라 SBS는 디지털 콘텐츠 크리에이터들을 위한 버티컬 숏폼 자동 제작 서비스의 개발을 추진하고 있다. 기본적인 개념은 최신 LMM을 활용하여 영상을 자동으로 분석하고, 콘텐츠의 핵심 부분을 추출해 숏폼 비디오를 생성하는 것이다.

이 시스템은 영상의 주요 장면을 파악하고, 주제와 맥락에 맞는 짧고 임팩트 있는 클립을 자동으로 생성할 수 있다. 디지털 콘텐츠 크리에이터들은 별도의 편집 작업 없이도, 손쉽게 고품질의 숏폼 콘텐츠를 제작하여 소셜 미디어에 빠르게 배포할 수 있게 된다.

예를 들어, 사용자가 “팬더가 사육사와 놀고 있는 장면”이라는 주제를 입력하면, 이와 관련된 유사한 영상 클립을 자동으로 검색하여, 해당 클립들을 기반으로 최적의 숏폼 비디오를 생성한다.

4-3. 텍사노미 기반 디지털 광고 콘텐츠 타겟팅 서비스

디지털 광고의 성공 여부는 정확한 타겟팅에 달려 있다. 이를 위해 SBS는 LMM을 활용한 텍사노미 기반 디지털 광고 콘텐츠 타겟팅 서비스 개발을 추진하고 있다. 이 서비스는 광고 콘텐츠를 세분화된 텍사노미 체계로 분류하고, 이를 기반으로 광고 대상자를 정교하게 설정할 수 있도록 한다.

예를 들어, 치킨을 먹고 있는 영상 클립을 찾기 위해 미리 분석된 영상 정보를 토대로 이와 관련된 클립들을 검색하여, 최적화된 광고를 배치할 수 있도록 하는 것을 목표로 하고 있다.

이를 위해 텍사노미 기반 분류 체계를 적용하여 클립들의 주제와 카테고리를 정밀하게 분석하고, 이를 통해 광고 타겟팅의 정밀도를 높일 수 있다. 텍사노미는 클립의 콘텐츠를 세부적으로 분류하고, 광고주가 설정한 타겟 오디언스의 관심사와 일치하는 클립을 찾아내는 데 중요한 역할을 한다.

5. 마치며

AI 시대를 대비하여 SBS는 자체 미디어 학습데이터를 통해 AI 성능 최적화를 진행하고 다양한 스타트업들과의 협업을 추진 중이다. 리소스가 부족한 해외향 스타트업들이 참신한 아이디어를 기반으로 다양하게 플랫폼 개발에 성공할 수 있도록 지원하는 것이 목표이다.

이러한 협업을 위해 SBS는 내부에서 사용하고 있는 AI 기술들을 외부에서도 사용할 수 있도록 클라우드 전환 개발을 추진 중이며, 내부 인프라를 통해 충분히 검증된 미디어 AI 기술을 SaaS 형태로 제공할 예정이다. 이를 통해 방송 미디어 산업의 기술적 혁신을 이끌고, 상생의 생태계를 구축해 보고자 한다.