데이터 아키텍쳐

https://yozm.wishket.com/magazine/detail/2396/

데이터 아키텍처? 쉽게 배워봅시다 | 요즘IT

 

요약

이 아티클에선…

데이터 아키텍처(Data Architecture)란 조직이 데이터를 수집, 저장, 처리, 관리하는 방법을 설계하는 체계이며 이를 통해 다양한 데이터 활용이 가능해진다고 설명한다. 또한 이해하기 쉽게 데이터가 생성되는 저장·처리·활용하는 전체 구조와 구성 요소를 설명해준다.

 

주요포인트

1. 데이터 아키텍처란?

시스템 내에서 데이터가 어떻게 흐르고 저장·처리되는지 구조화한 설계.

조직이 데이터를 효과적으로 사용할수 있도록 방향을 제시해 준다.

 

2. 데이터의 원천(Source of Data)

데이터는 다양한 출처로부터 생성된다. 전통적인 OLTP 데이터베이스부터, 기업 내 애플리케이션, 외부(서드파티) 데이터, 웹/로그 데이터, IoT 디바이스 데이터까지 포함된다.

 

3. ETL(추출·변환·적재) 과정

가공되지 않은 상태의 데이터를 분석 및 활용 가능한 형태로 만들기 위한 ETL 과정을 설명한다.

 

4. 데이터 저장소 유형

처리된 데이터를 효율적으로 저장하고 접근하기 위한 저장소로서 데이터 웨어하우스(Data Warehouse) 와 데이터 레이크(Data Lake) 의 차이와 쓰임새를 정리한다.

 

5. 데이터 마트(Data Mart)

전체 저장소 중 특정 부서나 특정 용도로만 사용하는 데이터 마트 개념과 장점을 설명한다.

 

6. 데이터 활용 사례

저장된 데이터를 BI, 마케팅, 재무, HR 등 다양한 업무에서 어떻게 활용할 수 있는지도 사례 중심으로 제시한다. 추가적으로 데이터는 그 자체만으로도 중요하나 그것을 어떻게 활용하냐에 따라 가치가 변화한다고 강조한다.

 

핵심개념

데이터 아키텍처(Data Architecture):  데이터를 어떻게 수집·저장·처리·관리할지 정의하는 전체 구조와 설계 체계.

 

OLTP 데이터베이스: 실시간 트랜잭션 데이터를 저장하는 시스템 (예: 쇼핑 결제, 은행 계좌 거래).

 

ETL (Extract, Transform, Load): 데이터를 추출 → 변환 → 저장하는 과정.

 

데이터 웨어하우스(Data Warehouse): 구조화된 형태의 데이터를 저장하고 분석을 지원하는 저장소. 

-> 분석용으로 저장

 

데이터 레이크(Data Lake): 형식에 관계없이 다양한 형태의 데이터를 저장하는 저장소. 

-> 전부 수집

 

데이터 마트(Data Mart): 특정 부서나 목적에 특화된 데이터 저장소의 부분집합.

->  필요에 맞게 덜어냄

구분	데이터 레이크	데이터 웨어하우스	데이터 마트
데이터 형태	원본 그대로 (정형·비정형)	정제된 정형 데이터	웨어하우스 일부
목적	저장 중심	분석 중심	특정 부서/업무
사용자	엔지니어, 분석가	분석가, BI	현업 부서
특징	유연하지만 관리 필요	신뢰도 높음	빠르고 목적 명확

용어정리

Raw Data -> 원시 데이터로 해석 가능

가공되지 않은 원시 상태의 데이터. ETL 이전의 상태를 의미한다

 

Structured Data/ Unstructured Data (구조화 데이터, 비구조화 데이터)

구조화 데이터는 테이블형태 등 규칙적 구조를 가진 데이터이고, 비구조화 데이터는 이미지·텍스트·로그 등 형태가 일정하지 않은 데이터를 의미한다.

 

BI (Business Intelligence)

기업 데이터를 분석해 의사결정과 전략 수립을 돕는 도구 및 활동. 

내가 얻은 인사이트

이번 아티클을 통해 얻을수 있는 인사이트는…

데이터 분석의 성패는 분석 기법이나 SQL 실력 이전에 데이터 아키텍처. 데이터가 어떤 흐름으로 수집되고, 어떤 기준으로 인해 정제되며, 어떤 목적에 맞게 저장되는 구조에 의해 결정된다는 것을 이해했다.

(ETL 과정을 통해 정리된 데이터가 데이터 웨어하우스, 데이터 레이크, 데이터 마트 등

용도에 맞는 저장소에 배치되지 않으면 아무리 좋은 분석 기법을 사용해도 신뢰할 수 있는 결과를 얻기 어렵다.)