AI 딥 다이브

 

도서명 :  AI 딥 다이브: 오차역전파부터 확산모델까지, 미래를 만드는 73가지 기술 이야기

출판사 : 한빛미디어

 

지은이 : 오카노하라 다이스케 지음

 

독서 기간 : 2024-08-15 ~ 2024-08-23

 

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

 

 

개인적으로 'AI를 잘 아는가?' 라는 질문에 나는 아직 '아니오' 라고 대답을 하고 있다.

 

전문적으로 AI 엔지니어로 개발을 하고 있지 않기 때문이다. 해당 도서도 내가 아직 읽기엔 어려울 수 있겠다 싶은 제목이었다. 하지만, 전체적인 흐름은 안다고 생각해서 한번 책을 펴보았지만, 역시나..어려운 부분이 많은 책이었다.

 

우선, 목차 부터 확인해보자.

 

[1부: 지능이란 무엇인가, 딥러닝이란 무엇인가]

1장: 인공지능의 원리 해명
2장: 사람의 학습

[2부: 학습 기법]

3장: 학습 기법
_3.1 학습의 엔진: 수리 최적화 Adagrad, RMSProp, Adam
_3.2 랜덤 푸리에 피처 함수: 규모가 큰 문제에도 커널 기법 적용 가능
_3.3 정규화: 일반화 능력 얻기
_3.4 오차 역전파 기법에 의한 기댓값 최대화
_3.5 오차 역전파를 사용하지 않는 학습 기법: Feedback Alignment, Synthetic Gradient, Target Prop
_3.6 연속 학습: 과거의 학습 결과를 잊지 않고 새로운 작업 학습
_3.7 예측 학습
_3.8 진화 전략
_3.9 메타 학습: 학습 방법을 학습하는 MAML과 뉴럴 프로세스
_3.10 음함수 미분: 경삿값 계산에서 계산 그래프를 워프
_3.11 비지도 표현 학습: 다른 뷰 간 상호 정보량 최대화
_3.12 지식 증류: 거대 모델의 지식 추출
_3.13 마스크 오토인코더: 이미지 인식에서 사전 학습 혁명의 가능성

4장: 강화 학습
5장: 고속화, 저전력화, 인프라

 

[3부: 모델과 아키텍처]

6장: 생성 모델
7장: 기억의 얼개

[4부: 애플리케이션]

8장: 이미지
9장: 음성
10장: 공간생성/인식
11장: 언어
12장: 제어
13장: 시뮬레이션
14장: 게임
15장: 바이오 생명 과학
16장: 로봇

 

목차는 위와 같고 3장은 세부 목차를 남겨두었다. 이유는 목차만 보아도 일반인이 읽기엔 난이도가 있는 목차이기 때문이다.

 

그래도 1장에 인공지능 원리와 해명 부분에서는 재미있는 이야기들이 나와서 흥미를 이끌어 주었다. 바로 인공지능 학습에서 블랙박스 영역이라고 말하는 설명하기 어려운 부분에 대해서 해당 저자는 설명이 가능한 현재 수준에 대해서 언급해주었다.

 

그리고 비정형 데이터 중 내가 제일 많이 본 데이터는 바로 텍스트 데이터이다.

 

하여, 목차 중 '언어' 부분을 중점적으로 보았고, 보고 나니 타 목차들이 어떤 컨셉으로 풀어낸 것인지 명확하게 이해할 수 있었다.

 

우선 해당 도서에서 언어부분의 시작은 seq2seq 부터 설명을 시작한다.

 

가장 기초인 word2vec이나 TF-IDF 로 시작하지 않는 것을 보면 기초부터 말해주는 책이라고 보기 어려운 부분이 있었다.

 

과거 NLP 모델들과 seq2seq에 관련되어 정리를 해주고 해당 모델은 어떤 메커니즘으로 학습하고 추론하는지 간단하게 말해주는 부분이었다.

 

그 이후는 Bert가 나오고 그 다음은 자연어를 배운 사람은 알겠지만 그 유명한 트랜스포머 모델에 대한 이야기가 나온다.

 

당연한 수순이긴 하지만 처음 보는 사람에게는 어려운 부분이 있었을 것이다. Bert 모델이 처음 1회 학습할 때 비용이 얼마나 들었는지, 그리고 파라미터는 얼마나 되었는지 등 현재는 어떤 모델이 더 성능이 좋은지에 대해 나와있다.

 

이렇듯 해당 도서는 전체적인 AI의 동향과 추가적으로 해당 영역에서 가장 중요한 모델이나 알고리즘에 대해 설명해주는 도서라고 보면 될 것 같다.