데이터는 빠르고 효율적으로 이동해야 합니다. 이를 담당하는 것이 파이프라인으로, 온보딩, 파싱, 필터링, 인덱싱 단계를 거쳐 데이터를 검색
가능한 상태로 준비시킵니다. 하지만 단순히 데이터를 이동시키는 것만으로는 충분하지 않습니다. 데이터를 어디에 보관할지도 결정해야 합니다. 이때 티어링이 중요한 역할을 합니다. 티어링을 통해 지금 필요한 데이터는 핫 스토리지에, 나중을 위해 보관할 데이터는 콜드 또는 프로즌 스토리지에 저장할 수 있습니다.
티어링은 파이프라인을 따라 함께 움직이며, 데이터가 이동하는 과정에서 더 현명한 결정을 내릴 수 있도록 돕습니다. 모든 데이터를 고비용·고속으로 유지하는 대신, 어떤 데이터가 미션 크리티컬한지, 어떤 데이터가 비용 절감을 위해 속도를 늦춰도 되는지를 선택할 수 있습니다. <11P>
주요 내용
- 왜 데이터는 통제 불능처럼 느껴지는가
- 데이터 파이프라인 이해하기
- 단순한 이동을 넘어 전략으로: 파이프라인과 티어링을 통한 시너지 형성
- 데이터 티어링: 빠른 접근과 보안 향상, 그리고 비용 절감
- 유즈 케이스 스펙트럼에 맞는 파이프라인 최적화를 통해 가치 극대화
- 데이터로 말해줘