DataMesh Architecture 리뷰

데이터 메쉬란

Data Mesh는 조직 내 데이터 아키텍처를 중앙집중형(data warehouse/data lake 중심)에서

도메인 중심 분산형으로 전환하려는 패러다임입니다.

기존 방식이 “모든 데이터를 중앙 팀이 모아서 처리”하는 구조였다면, Data Mesh는 “각 비즈니스 도메인이 자신의 데이터를 제품(data product)처럼 관리하고, 플랫폼·거버넌스는 이를 지원”하는 구조를 제안합니다.

1. 기존에는 중앙팀의 관리로 데이터 레이크 및 데이터 팀으로 관리를 하였다, 다만, 많은 팀과 서비스 그리고 각 운영 서비스에서 모두 중앙 데이터팀을 바라보기 때문에 중앙 데이터팀에 병목이 생긴다.
2. 마이크로서비스 형태로 운영이 되고있는 조직에서, 각자의 도메인 데이터를 분석하고 활용할 수 있도록 권한과 책임을 부여하는 것이 다음 단계이다.
3. 데이터 분석을 확장하려면 조직을 도메인 중심으로 분산해야한다는 인식이 본 아키텍처의 출발점이다. 그래서 데이터 메쉬란?

4가지 기본 원칙을 정의하고있다.

• 도메인 소유권(Domain Ownership) : 분석용 데이터의 소유권과 책임을 중앙 데이터팀이 아닌 각 도메인팀에 보여한다.
• 데이터를 제품으로 취급 : 각 도메인팀이 내부뿐만 아니라 다른 팀(혹은 조직 외부)도 소비 가능한 데이터 제품으로 제공해야한다는 점
• 자기 서비스(self-service)데이터 인프라 플랫폼 : 도메인팀들이 독립적으로 데이터 제품을 만들고 유지할 수 있도록 도메인에 독립적인 플랫폼팀이 도구 시스템 기능을 제공해야합니다.

• 연합 거버넌스 : 전체 조직 차원에서 규칙 표준 상호운용성을 보장하는 거버넌스 그룹이 있어야한다. 참고자료

• https://www.datamesh-architecture.com/