Netflix의 비디오 처리 파이프라인을 마이크로서비스로 재구축한 여정 (Cosmos 플랫폼)

배경

Netflix의 Encoding Technologies 팀은 2014년부터 3세대 플랫폼 Reloaded에서 비디오 처리 파이프라인을 운영했다.

도전 과제

모놀리식 구조에서는 서비스 간 강한 결합으로 인해 새로운 기능 배포가 느렸고, 비디오 인코딩, 품질 분석, 검수 등의 작업이 하나의 파이프라인에 묶여 있어 독립적인 확장이 불가능했다.

해결 방안

차세대 마이크로서비스 플랫폼 Cosmos를 구축했다. API 레이어(Optimus), 워크플로 레이어(Plato), 서버리스 레이어(Stratum)로 구성하고, Timestone이라는 우선순위 기반 메시징 시스템으로 비동기 통신을 구현했다.

결과

2023년 9월에 전체 마이그레이션을 완료했다. 서비스 간 디커플링으로 기능 배포 속도가 크게 향상되었다.

핵심 인사이트

• 1.마이크로서비스 전환 시 API/워크플로/컴퓨팅 레이어를 명확히 분리하면 유연성이 극대화된다
• 2.비동기 우선순위 기반 메시징으로 서비스 간 결합도를 최소화할 수 있다
• 3.미디어 처리 파이프라인에서 서버리스 패턴은 연산 집약적 작업에 효과적이다