[질문 노트] : Sharding System은 무엇인가요?

🧐 질문 | Sharding System은 무엇인가요?

---

• 빅데이터 환경은 초당 몇 만건 이상 되는 수 많은 데이터를 빠른 시간 내에 수집하고 저장해야 하기 때문에 분산, 집계하여 사용자가 원하는 통계 정보로 가공할 수 있어야 합니다.
• 시스템 구축 환경을 위해 효과적인 데이터의 분산 저장 및 처리 기술이 필요한데 이를 Sharding System(샤딩 시스템)이라고 합니다.

목적

---

• 데이터의 분산 저장
  • 빅데이터를 디스크에 저장할 때 발생하는 Write Scaling 문제는 애플리케이션의 성능 저하 문제를 유발시키고 샤딩 시스템 전체의 성능 저하 현상을 유발시킵니다.
  • 빅데이터의 효율적인 저장과 관리를 위해 하나의 서버가 아니라 여러 서버를 통해 분산 처리했을 때 가장 이상적으로 작동할 수 있습니다.
• 빠른 성능
  • 분산 처리는 여러 개의 프로세스가 여러 개의 CPU로 동시에 작업을 수행했을 때 가장 이상적입니다.
• 데이터 백업 및 복구 전략의 일환
  • 샤딩의 대표적인 기능 중 하나는 데이터의 분산 저장을 통한 성능 향상입니다.
  • 하나의 서버에 빅데이터를 저장, 관리했을 때 서버의 장애 문제가 발생한다면 유실되어지는 데이터 양은 매우 많을 것이고 시스템을 복구하게 된다면 많은 시간과 비용이 요구됩니다.
  • 이런 위험들로부터 안전하게 데이터를 저장, 관리하기 위해 샤딩 시스템을 활용합니다.

---

---