📄 3주차 논의 사항

목차

1. DevOps 와 진행 된 회의 (9/24) 2. 콘텐츠 추천 알고리즘 테스트

DevOps 와 진행 된 회의 (9/24)

지난 시도의 어려움

1. 데이터 레이크에 저장은 성공했지만 분석이 문제
   • 다양한 데이터를 확인하고 싶지만, S3에 직접 쿼리를 실행할 수 없음.
   • Athena를 사용하면 쿼리가 가능하나, 아직 비용과 관련된 위험 요소 때문에 자유롭게 활용하기 어려움.
2. 실제 서비스에 데이터를 어떻게 활용할 것인가?
   • 최종적으로 데이터는 데이터베이스(DB)로 들어가야 함.
   • RDB에 데이터를 저장하려면 원시 데이터(raw data) 가 아닌, 정제된 데이터가 필요함. (일명 데이터 마트)
   • 대규모 데이터를 처리하려면 벡터 DB를 활용하는 것이 효율적일 수 있음.

해결책은 없을까?

1. 데이터 레이크에서 직접 분석을 시도하기 어려움
   • 데이터를 쿼리 할 수 있는 환경으로 이동이 필요함
2. 데이터 웨어하우스로 전환하는 방안
   • 데이터 웨어하우스 솔루션을 활용해 분석에 용이한 환경을 구축하는 것이 한 가지 대안일 수 있음.
     • 주요 아키텍처:
       • Amazon Redshift
       • Snowflake
       • Google BigQuery
3. 로그 데이터 처리 방안
   • 단일 행으로 저장된 로그 데이터를 ETL(Extract, Transform, Load) 과정을 통해 구체적인 테이블로 변환한 후, 데이터 웨어하우스로 저장 한 뒤 쿼리 작업을 진행하는 방식을 시도

Redshift 데이터 아키텍처

Google Bigquery 데이터 아키텍처

Snowflake 데이터 아키텍처