핸즈온 생성형 AI

 

 

도서명 :  핸즈온 생성형 AI

 

출판사 : 한빛미디어

 

지은이 : 오마르 산세비에로 , 페드로 쿠엥카 , 아폴리나리우 파소스 , 조나단 휘태커

 

독서 기간 : 2025-07-10 ~ 2025-07-26

 

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

 

 

우리는 "딸깍"의 시대에 살고있다. 

 

내가 요즘 지인을 만나면 하는 말들 중 하나이다. 이제는 여러 정보를 하나하나 찾아볼 필요없이 한번에 GPT, Perplexity, Geminin 등 다양한 생성형 AI에게 질문하면 바로 알 수 있는 시대에 살고 있다.

 

이런 상황에서 AI를 활용하고 만들고자 하는 니즈가 많은데 이 핸즈온 생성형 AI라는 도서는 이런 상황에서 적절한 도서인 것 같다.

 

먼저 목차를 보면 아래와 같다.

 

1부 개방형 모델 활용

• 1장 생성 미디어 입문
• 2장 트랜스포머
• 3장 정보 압축과 표현
• 4장 확산 모델
• 5장 스테이블 디퓨전과 조건부 생성

2부 생성 모델을 위한 전이 학습

• 6장 언어 모델 파인튜닝
• 7장 스테이블 디퓨전 파인튜닝

3부 더 나아가기

• 8장 텍스트-이미지 모델의 창의적 활용
• 9장 오디오 생성
• 10장 생성형 AI 분야의 발전과 최신 동향

 

생성형 AI 핸즈온이라고 해서 처음 부터 GPT 에 대한 발전과 현재 어느 정도에 도달했고 이런 걸 어떻게 활용할 수 있다라는 이야기의 흐름으로 예상을 하고 책을 폈다.

 

하지만, 내 예상과 달리 놀랍게도 1부에서 트랜스포머에 대해서 나오는 것을 확인할 수 있다.

트랜스포머는 "Attention is All you need" 라는 논문을 보면 자세히 나와있는 것을 알 수 있다.

 

해당 도서에서 Attention 관련 부분과 트랜스포머 부분이 생각보다 상세하게 알려주어 놀랐고 좋았던 포인트 중 하나였다.

 

그리고 여기서 알 수 있는 내용이지만 GPT는 디코더 기반 모델이고 인코더 기반 모델도 빠짐없이 설명해주는 것을 볼 수 있다.

 

요즘 Multi-modal에 관심이 많은데 역시나 생성형 AI에 멀티모달이 빠질 수 없듯이 openAI에서 발표한 가장 대표적인 CLIP 관련한 내용도 포함되어 있었다.

 

물론, 논문 내용 그대로 모든 것을 설명하는 것은 아니지만 기본 개념과 어떻게 활용할지에 대해 설명과 코드까지 포함되어 있었다.

 

2부는 전이학습이라고 되어 있다. 

 

참고로 전이학습(Transfer learning)과 Fine-tuning 은 조금 다르다.

하지만 해당 도서에서는 조금은 파인튜닝에 대해 초점이 맞춰진 설명이 주를 이루는 것 같다. 물론 전이학습이 좀 더 큰 개념이고 그 안에 파인 튜닝이 있긴하다.

 

3부는 더 나아가기로 멀티모달과 각각 모달들의 생성에 대해 어떻게 활용할 수 있는지에 대한 많은 방향성관 사례를 설명해주고 있다. 

위 말했듯이 멀티모달에 관심이 있어 해당 부분을 중점적으로 보았는데 VLM(Vision-Language Model)에 대한 부분과 CLIP를 넘어 2022년도에 나온 BLIP에 대해서도 언급하고 있다.

 

전체적으로 해당 도서는 생성형 AI의 입문이라기 보다는 여러 모달들을 전체적으로 설명해주고, 해당 모델들의 파인튜닝 방법 그리고 나아가 이 각 모달들을 합친 멀티모달의 현재와 미래가 어떻게 될 지에 대해서 중점적으로 알려주는 책으로 보면 좋을 것 같다.

 

내가 만약 AI Agent를 활용하고자 하는 생각이 있다고 하면 꼭 보면 좋을 것 같다.

 

요즘은 활용에 초점을 둔 Task가 많기는 하지만 기본적인 트랜스포머는 알고 하면 좋을 것 같다는 생각을 늘 하고 있었는데 해당 도서가 그런 내 생각에 딱 맞는 목차를 가지고 있었다.