[나는 리뷰어다] 데이터 엔지니어링 디자인 패턴, 기술이 변해도 데이터의 유효성은 유지되어야 한다.

 한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.

데이터 엔지니어링 디자인 패턴(한빛미디어, 2026)

 

소프트웨어 디자인 패턴(software design pattern)은 
소프트웨어 디자인의 특정 문맥에서
공통적으로 발생하는 문제에 대해
재사용 가능한 해결책이다.

'디자인 패턴'이라는 용어를 알게된 것은 '정보처리기사'를 준비하면서였다. 비전공, 비 IT 직무 출신이 IT 직군에 입성하기 위한 기본 관문이었던 정처기에서 '디자인 패턴'이 무엇인지, 어떻게 사용되는지(코드)를 암기했던 기억이 있다.

유지 보수가 용이한 코드베이스 레시피인 소프트웨어 디자인 패턴, GoF - 생성 패턴, 구조 패턴, 행동 패턴을 넘어 데이터 엔지니어링에서 사용하는 디자인 패턴을 '데이터 엔지니어링 디자인 패턴'을 통해 만나게 되었다.

 

 

2장 디자인 수집 디자인 패턴 中

 

 

책에서 소개하는 다양한 디자인 패턴 중 2장의 데이터 수집 디자인 패턴과  6장의 데이터 흐름 디자인 패턴, 8장의 데이터 스토리지 디자인 패턴이 현업 업무와 관련이 있어 재미있게 읽을 수 있었다.(70개에 달하는 디자인 패턴을 9개의 카테고리로 묶어 설명한다.)

 

3장 오류 관리 디자인 패턴 中

 

 

'유효한 데이터' 수집을 위한 과정에서 만나는 다양한 상황들에 대해 명확한 '문제 정의'를 하고, 디자인 패턴으로 '해결 방안을 제시'하며 '결론'과 '예시'까지를 다루는 점이 책의 장점이다. 단순하게 구현할 수 있는 기초 디자인 패턴(aka. 싱글톤)이 아닌, 데이터 파이프 라인 구축 상황에서 발생 가능한 예상 문제점을 '템플릿'화 하여 대응할 수 있는 예시 답안(코드) 제공은 유사 상황에서 큰 도움이 될 것으로 생각된다.

 

8장 데이터 스토리지 디자인 패턴 中

 

 

데이터를 핸들링하는 기술과 도구의 발달, 생성형 ai를 사용한 코드 생성 등 it 환경이 더 빠르게 변화하는 지금, '데이터 엔지니어링 데이터 패턴'은 상황에 따른 데이터 관리 방법을 자세하게 설명하는 책 이다. 오픈소스(아파치 스파크 등)의 예시 코드를 통해 특정 플랫폼 혹은 언어의 종속성을 최대한 배제한 점 역시 눈 여겨 볼 요소이며, 매 챕터가 유기적으로 연결되어 상호 연관된 하나의 관점을 주제로 하는 것도 낯선 디자인 패턴을 이해하는 데 도움이 된다.

 

데이터를 수집하는 파이프라인은 기술 고도화에 따라 혹은 새로운 서비스의 등장에 따라 변화할 것이다. 여기서 중요한 점은 '데이터'의 유효성을 지키는 것, 유지하는 것이다. 70개의 디자인 패턴으로 데이터 엔지니어링을 설명하는 책의 일독을 추천한다.

 

 

---

 

 

저자 : 바르토시 코니에치니(Konieczny, Bartosz)

역자 : 김인범

제목 : 데이터 엔지니어링 디자인 패턴

출판사 : 한빛미디어

출간 연도 : 2025.10. 

페이지 : 424쪽

원서명 : Data Engineering Design Patterns (O'Reilly Media , 2025)

 

데이터 엔지니어링 디자인 패턴 | 바르토시 코니에치니 | 한빛미디어 - 예스24

https://www.yes24.com/product/goods/175901523

 

 

 

 한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.