14장

1단계 문제 이해 및 설계 범위 확정

• 질의응답

  • 비디오 업로드 기능과 시청 기능이 중요

  • 모바일 앱, 웹, 스마트 TV에서 시청 가능

  • MAU는 5백만명

  • 평균적으로 소비하는 시간 30분

  • 다국어 지원 필요

  • 현존하는 비디오 종류와 해상도를 대부분 지원

  • 암호화 필요

  • 비디오 크기는 1GB로 제한함

  • 클라우드 서비스를 활용할 수 있음

• 아래의 기능을 갖춤

  • 빠른 비디오 업로드

  • 원활한 비디오 재생

  • 재생 품질 선택 기능

  • 낮은 인프라 비용

  • 높은 가용성과 규모 확장성, 그리고 안정성

  • 지원 클라이언트: 모바일 앱, 웹브라우저, 스마트 TV

• 추정치

  • DAU 5백만

  • 한 사용자는 하루 평균 5개의 비디오 시청

  • 10%의 사용자가 하루에 1개 비디오 업로드

  • 비디오 평균 크기는 300MB

  • 비디오 저장을 위해 매일 새로 요구되는 저장 용량 150TB

  • CDN 비용

    • 1GB당 0.02 (AWS CloudFront)

    • 매일 발생하는 요금은 5백만 * 5비디오 * 0.3GB *0.02 = $150,000

2단계 개략적 설계안 제시 및 동의 구하기

• 크게 3개 컴포넌트로 구성됨

  • 사용자 단말, CDN, API 서버

• 비디오 업로드 절차

  1. 비디오를 원본 저장소에 업로드한다.

  2. 트랜스코딩 서버는 원본 저장소에서 해당 비디오를 가져와 트랜스코딩을 시작한다.

  3. 트랜스코딩이 완료되면 아래 두 절차가 병렬적으로 수행된다.

     1. 완료된 비디오를 트랜스코딩 비디오 저장소에 업로드한다.

     2. 트랜스코딩 완료 이벤트를 트랜스코딩 완료 큐에 넣는다.

        1. 트랜스코딩이 끝난 비디오를 CDN에 올린다.

        2. 완료 핸들러가 이벤트 데이터를 큐에서 꺼낸다.

        3. 완료 핸들러가 메타데이터 데이터베이스와 캐시를 갱신한다.

  4. API 서버가 단말에게 비디오 업로드가 끝나서 스트리밍 준비가 되었음을 알린다.

  

  Untitled

  비디오 스트리밍 절차

  • 스트리밍은 원격 비디오로부터 지속적으로 비디오 스트림을 전송 받아 영상을 재생하는 것

  • 스트리밍 프로토콜

    • MPEG-DASH (Moving Picture Experts Group + Dynamic Adaptive Streaming over HTTP)

    • 애플 HLS (HTTP Live Streaming)

    • 마이크로소프트 (Microsoft Smooth Streaming)

    • 어도비 HTTP 동적 스트리밍(Adobe HTTP Dynamic Streaming, HDS)

  3단계 상세 설계

  • 비디오 트랜스코딩

    • 호환성 문제를 해결하려면 하나의 비디오를 여러 포맷으로 인코딩해둬야 한다.

    • 사용자의 대역폭에 맞게 저화질, 고화질 비디오를 보내줘야 한다

    • 모바일 단말의 경우 네트워크 상황이 수시로 달라져 비디오 화질도 변경되어야 할 수 있다.

    • 인코딩 포맷

      • 컨테이너 포맷: .avi, .mov, .mp4

      • 코덱: H.264, VP9, HEVC

  • 비디오 트랜스코딩 아키텍처

    • 주요 컴포넌트 5개: 전처리기, DAG 스케줄러, 자원관리자, 작업 실행 서버, 임시 저장소

    • 전처리기

      • 비디오 분할 - 비디오 스트림을 GOP(Group of Pictures)단위로 쪼갠다.

      • DAG 스케줄러: DAG 그래프를 몇 개 단계로 분할한 다음 작업 큐에 집어넣는다.

      • 임시 저장소: GOP와 메타데이터를 임시 저장소에 보관한다. 비디오 인코딩이 실패하면 보관덴 데이터를 활용해 인코딩을 재개한다.

      • 자원 관리자 - 자원 배분을 효과적으로 수행함 - 작업 큐, 작업 서버 큐, 실행 큐, 작업 스케줄러

      • 작업 관리자 - 작업 큐에서 가장 높은 우선순위의 작업을 꺼내고 작업 서버에게 실행을 지시한다. 작업이 완료되면 해당 작업을 실행 큐에서 제거한다.

• 시스템 최적화

  • 속도 최적화

    • 비디오 병렬 업로드 - 비디오 하나를 여러 GOP로 분할하여 업로드한다.

    • 업로드 센터를 사용자 근거리에 지정

    • 모든 절차를 병렬화 - 메시지 큐 도입

  • 안정성 최적화

    • 미리 사인된 업로드 URL

    • 비디오 보호

      • 디지털 저작권 관리

      • AES 암호화

      • 워터마크

  • 비용 최적화

    • 인기 비디오는 CDN을 통해 재생, 다른 비디오는 비디오 서버로 재생

4단계 마무리

• API 계층의 규모 확장성 확보 방안: API 서버는 무상태 서버이므로 수평적 규모 확장이 가능하다

• 데이터베이스 계층의 규모 확장성 확보 방안: 데이터베이스의 다중화와 샤딩 방법

• 라이브스트리밍

  • 스트리밍 프로토콜 선정에 유의

  • 병렬화 필요성이 떨어짐

• 비디오 삭제