6장

---

1. 단일 키-값 저장소

• 가장 직관적인 방법 = 키-값 쌍 전부를 메모리에 해시 테이블로 저장

• 메모리가 부족할 수 있다.

  • 데이터 압축

  • 자주 쓰이는 데이터만 메모리에 두고 나머지는 디스크에 저장

• 이렇게 한다고 해도, 한 대 서버로는 부족한 때가 온다. 분산 키-값 저장소가 필요하다.

2. 분산 키-값 저장소

• 분산 해시 테이블이라고도 불린다.

• 분산 시스템을 설계할 때는 CAP 정리를 이해해야한다.

  • 일관성, 가용성, 파티션 tolerance 세 가지를 모두 만족하는 분산 시스템은 불가능하다.

    • 일관성: 어떤 노드에 접속했느냐에 관계 없이 같은 데이터를 받아야 한다.

    • 가용성: 일부 노드에 장애가 발생하더라도 응답을 받아야 한다.

    • 파티션 tolerance: 네트워크에 파티션이 생기더라도 시스템은 계속 작동해야 한다.

  • 사실상 파티션 tolerance는 필수 조건이라서, CP 혹은 AP 시스템이어야 한다.

3. 시스템 컴포넌트

• 데이터 파티션

  • 안정 해시를 이용해서 데이터를 파티션한다

• 데이터 다중화

  • 데이터를 N개 서버에 비동기적으로 복제하는 것

• 데이터 일관성

  • 정족수 합의 프로토콜을 사용한다.

    • N = 사본 개수

    • W = 쓰기 연산에 대한 정족수

    • R = 읽기 연산에 대한 정족수

  • N,W,R에 따른 시스템 특징

    • R = 1, W = N → 빠른 읽기 연산에 최적화된 시스템

    • W = 1, R = N → 빠른 쓰기 연산에 최적화된 시스템

    • W + R > N → 강한 일관성이 보장됨

    • W + R ≤ N → 강한 일관성이 보장되지 않음

• 일관성 모델

  • 일관성 수준

    • 강한 일관성 - 모든 읽기 연산은 최근에 갱신된 결과를 반환한다.

      • 모든 사본에 현재 쓰기 연산의 결과가 반영될 때까지 기달야하는데, 고가용성 시스템에는 적합하지 않다.

      • 다이나모, 카산드라는 최종 일관성 모델을 택한다.

    • 약한 일관성 - 읽기 연산이 과거의 데이터를 반환할 수도 있다.

    • 최종 일관성 - 약한 일관성의 한 형태로, 갱신 결과가 결국에는 모든 사본에 반영되는 모델

  • 일관성 해소 기법

    • 데이터 버저닝

      • 벡터 시계를 통해서 어떤 데이터가 최근 버전인지 판단한다.

      • 단점

        • 클라이언트에서 충돌 감지 및 해소 로직이 필요해서 클라이언트 구현이 복잡해진다.

        • [서버: 버전] 순서쌍이 굉장히 크게 늘어난다. 그래서 오래된 순서쌍은 제거하도록 해야한다.

• 장애 처리

  • 가십 프로토콜 같은 분산형 장애 감지 솔루션을 채택해야 한다.

    • 일정 시간동안 어떤 멤버의 박동 카우터 값이 갱신되지 않으면 해당 멤버는 장애인 것으로 간주한다.

  • 일시적 장애처리, 영구 장애처리 방법이 있다.

    • 일시적 장애 처리를 위해, 단서 후 임시 위탁 기법(hinted handoff)은 임시로 쓰기 연산을 처리한 후 단서를 남겨둔다.

    • 영구 장애 처리는 머클 트리(해시 트리)를 이용해서 어떤 버킷이 다른지 비교해서 해당 버킷만 동기화한다.

  • 데이터 센터 장애 처리

• 시스템 아키텍처 다이어그램

  • 앞서 말했던 다양한 기술적 고려사항들을 이용한다.

  • p111-113

4. 요약

• 대규모 데이터 저장

  • 안정 해시를 사용해 서버들에 부하 분산

• 읽기 연산에 대한 높은 가용성 보장

  • 데이터를 여러 데이터센터에 다중화

• 쓰기 연산에 대한 높은 가용성 보장

• 버저닝 및 벡터 시계를 사용한 충돌 해소

• 데이터 파티션

  • 안정 해시

• 점진적 규모 확장성

  • 안정 해시

• 다양성(heterogeneity)

  • 안정 해시

• 조절 가능한 데이터 일관성

  • 정족수 합의(quorum consensus)

• 일시적 장애 처리

  • 느슨한 정족수 프로토콜(sloopy quorum)과 단서 후 임시 위탁(hinted handoff)

• 영구적 장애 처리

  • 데이터를 여러 데이터센터에 다중화

• 데이터 센터 장애 대응

  • 여러 데이터 센터에 걸친 데이터 다중화