AWS Demogo Prime

Demogo Prime

Demo Content

데이터 수집부터 분석까지, 데이터 파이프 라인 구축 함께 해요!

Amazon Web Service, Solutions Architect 성재우

• 목표 : 우리가 가지고있는 데이터를 AWS에서 분석하려면 어떻게 파이프라인을 구성해야 하는지

  데이터 수집, 분석, 파이프라인

과거에 했던 일들, 어려웠던 점들

데이터 분석 플랫폼 발전 과정

• 1990’s
• 2000’s
• 2010’s

• 2020’s 기존의 방법으로 어려웠던 점

• 폭발적으로 증가하는 데이터
• 새로운 데이터 소스
• 다양해지는 데이터 유형
• 많은 곳에서 데이터를 사용

• 다양한 애플리케이션에서 데이터를 사용 데이터 Silo 문제

• 모든 데이터 소스를 한번에 볼 수 있는 단일 뷰가 없는 상황ㅁ

AWS Modern Data Analytics & Pipeline

Data Trends 그리고 AWS

AWS Analytics

• 직접 서버를 설치해서 운영하지 않아도 되는 완전 관리형 분석 서비스

AWS 데이터 수집 제공 서비스

• Kinesis
• DataSync
• DB Migration Service

  DB Migration Service

DataSync 온라인 데이터 전송 및 마이그레이션

Kinesis 실시간 데이터 수집, 프로세싱 분석

AWS 데이터 저장

S3 Amazon Simple Storage Service

AWS 데이터 처리

• AWS Glue 데이터 카탈로그

  AWS Glue 데이터 카탈로그

• 간편하고 확장 가능한 서버리스 ETL 서비스

Amazon Athena 표준 SQL을 통한 s3데이터 분석

• 서버 리스 환경
• s3에서 직접 쿼리 실행

  AWS 데이터 활용

Amazon QuickSight 인사이트 도출을 위한 클라우드 기반 시각화 도구

AWS 데이터 파이프라인

Amazon MWAA - Managed Workflow of Apache Airflow

큰 그림

Demogo Prime Lab 아키텍쳐

MySQL 예시

몽고 디비 예시

Windows File 서버 예시

스트리밍 이벤트 예시

외부 데이터 Naver API 에시

오케스트레이션 예시

실습 진행

후기

너무 재미있고 유익했다.

나는 그냥 대학생이였지만 스타트업이나 AWS 클라우드 환경으로 전환하고 싶은 기업의 엔지니어들이 많이 참가한거 같았다.

40~50명 정도의 사람이 참가하여 1시간 이론 , 3시간 실습을 진행했다.

너무 유익했다. 데이터 파이프라인의 전체적인 구조를 잡고 직접 실습을 하면서 Mysql내부 데이터를 QuickSight와 AirFlow로 가시화했다.

정형, 비정형, 실시간,외부 데이터(Naver API) 등 여러 데이터의 종류별 처리 방법과 아키텍처를 설명해줬다.

AWS내부 여러 서비스를 직접 사용하면서 데이터 파이프라인의 전체를 구성하는 경험은 처음이였다.