[리뷰어클럽] 밑바닥부터 만들면서 배우는 LLM(길벗, 2025)

예스24 리뷰어클럽 서평단 자격으로 도서를 제공받고 작성한 리뷰입니다

 

밑바닥부터 만들면서 배우는 LLM(길벗, 2025)

 

 

 

밑바닥부터 만들면서 배우는 LLM - 예스24

https://www.yes24.com/product/goods/154099735

 

 

---

책  정보 

저자 : 세바스찬 라시카(Sebastian Raschka)

역자 : 박해선

제목 : 밑바닥부터 만들면서 배우는 LLM

출판사 : 길벗

출간 연도 : 2025.09. 

원서명 : Build a Large Language Model(From Scratch) / Manning Publications,2024

페이지 : 560쪽

 

---

 

 

 이제는 익숙하고 친근한 '고유 명사' 같은 이 단어, 대규모 언어모델(이하 LLM)은 방대한 양의 데이터로 사전 학습된 초대형 딥 러닝 모델로 RAG와 함께 생성형 AI, GPT와 제미나이, 클로드 등을 구성하는 핵심 기술이다. 흔히 LLM이 무엇인지를 설명할 때 '트랜스포머'와 '인코더', '디코더' 관련된 수식을 중점으로 서술하여 '그래서 LLM을 실제로 구현하려면 어떻게 해야하는 가?'에 대해 A to Z를 명확하게 알려주는 기술서가 딱히 없었다. 

 

 분기별로 출시되는 새로운 생성형 AI 업그레이드(신규 버전)와 이 보다 더 빠르게 (논문 등)게재되는 LLM 관련 기술 시간 선에서, GPT를 작은규모로 실제 구성하고 구현하는 학습 방법이 담긴 길벗 출판사의 신간 '밑바닥부터 만들면서 배우는 LLM'를 YES24 서평단 - 리뷰어클럽을 통해 만나게 되었다. 단계별로 LLM을 구축하는 과정을 통해 챗봇을 구현하는 노하우를 알아보자.

 

 

---

총 5개의 챕터로 구성된 책은

 

1장 대규모 언어 모델 이해하기
2장 텍스트 데이터 다루기
3장 어텐션 메커니즘 구현하기
4장 밑바닥부터 GPT 모델 구현하기
5장 레이블이 없는 데이터를 활용한 사전 훈련
6장 분류를 위해 미세 튜닝하기
7장 지시를 따르도록 미세 튜닝하기

 

와 부록, 워크북으로 구성되어 있다.

 

 

---

 

 저자는 LLM 구현을 위해 필요한 과정을 3단계로 나누어 설명한다. 먼저 LLM 구조와 전처리를 다루는 1단계는 책의 전반부인 1 ~ 4장을 통해 설명한다. 데이터 샘플링과 어텐션 매커니즘, LLM 구조를 구현하고 중반부 5장에서 사전 훈련과 사전 훈련된 가중치 로드를 학습한다. 후반부인 6 ~ 7장에서 미세 튜닝을 다루며 LLM의 동작 원리를 설명한다.

본문 中

 

 

 책의 장점은 LLM을 통한 챗봇 구성 과정이 하나의 명확한 플랜(시나리오)에 따라 구현되는 점이다. 책의 각 챕터가 하나 혹은 두개의 과정을 설명하며 순차적인 흐름을 통해 앞 장의 내용과 이후의 내용이 자연스럽게 연결되는 점이 학습에 용이하다. 특히 사전 훈련과 미세 튜닝 함수를 직접 구현하는 부분은 '이론 - 도식도(코드 전개도) - 코드(+ 주석 설명)'의 과정을 통해 이해도를 높이도록 구성된 점 또한 눈에 띈다.

 

좌 : 5장 발췌 / 우 : 6장 발췌

 

---

 

 

 '밑바닥부터 만들면서 배우는 LLM'이 제공하는 '워크북'은 본문 각 장의 핵심 개념에 대한 질문과 요약 정리(주관식 질문에 대한 답안)로 구성되어 있다. 복잡 할 수 있는 본문을 학습하고 이후 워크북을 통해 반복 및 정리함으로써 내용 이해도를 높이며, '개념'에 대해 명확하게 정의하여 이론 이해에 도움을 준다.

 

 GPT 혹은 챗봇 등 LLM은 이제 현업(실무)에 필수 기술로 등장하고 있다. 흔히 기술을 '이해하고' 쓰는 것이 중요하다고 표현하는데, 해당 기술을 '직접 만드는 것' 만큼 '이해'도를 높이는 방법은 없다고 본다.

LLM을 이해하는 가장 좋은 방법, 밑바닥부터 직접 구현을 통해 GPT와 챗봇 그리고 LLM을 이해해 보자. 그 시작점으로, 혹은 이정표로 길벗 출판사의 신간 '밑바닥부터 만들면서 배우는 LLM'의 일독을 추천한다.

 

 

 

 

 

예스24 리뷰어클럽 서평단 자격으로 도서를 제공받고 작성한 리뷰입니다