트랜스포머를 활용한 자연어 처리

도서명 : 트랜스포머를 활용한 자연어 처리

출판사 : 한빛미디어

 

지은이 : 루이스 턴스톨, 레안드로 폰 베라, 토마스 울프 지음

 

독서 기간 : 2023-03-10 ~ 2022-03-26

 

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

 

이번에는 요즘 실무에서 가장 많이 활용하고 있는 NLP관련된 도서를 택해서 읽어보았다.

 

아직 지식이 부족해 읽는 데 생각보다 어려움을 느낀 책이었다.

 

머릿글에서 설명이 나오는 부분이지만, 해당 도서를 구매하실 분들은 최소한의 Transformer 의 개념과 기본적인 딥러닝, LSTM 등 NLP 자연어 관련 모델링을 한번 정도는 구현을 해본 분들이 읽기에 적합한 도서 같다.

 

[ 목차 ]

 

CHAPTER 1 트랜스포머 소개

CHAPTER 2 텍스트 분류

CHAPTER 3 트랜스포머 파헤치기

CHAPTER 4 다중 언어 개체명 인식

CHAPTER 5 텍스트 생성

CHAPTER 6 요약

CHAPTER 7 질문 답변

CHAPTER 8 효율적인 트랜스포머 구축

CHAPTER 9 레이블 부족 문제 다루기

CHAPTER 10 대규모 데이터셋 수집하기

CHAPTER 11 향후 방향

 

 

 크게 11가지 파트로 구성되어 있으며, Chapter 1에서는 트랜스포머의 소개와 트랜스 포머까지 도달하게 된 사전 개념들의 설명으로 시작되었다. 

 

첫 개념은 인코더 - 디코더 프레임 워크, 어텐션 메커니즘, 전이 학습 부터 시작되었다.

 

인코더 - 디코더 프레임 워크를 이해하기 위해 RNN이나 LSTM 같은 순환 신경망의 시퀀스 구조를 이해해야 한다.

그렇기에, 해당 도서에서도 가장 먼저 이에 대해 설명을 이어 나간다.

 

그렇게 기본적인 개념을 설명하고 난 후, GPT, BERT 등 현재 가장 많이 사용 되는 알고리즘에 대해 설명이 이어졌다.

 

그리고 가장 중요한 허깅페이스 트랜스포머에 대해 설명이 나왔다.

 

최근에 알게된 허깅페이스는 꽤 충격적이었다.

 

기존에 방대한 양의 데이터를 이미 학습한 언어 모델을 분석가나 사이언티스트 들이 커스터마이징 하여 사용하는 방법인데, 이러한 모델들이 허깅페이스에 올라와있다.

 

보통 Pretrained model 이라고 부르며, 정말 좋은 성능들을 보여주는 방법 중 하나이다.

 

자연어 모델을 도입하게 되면 허깅페이스는 필수라고 생각된다.

 

그렇게 분류 장에서는 데이터셋 / 토크나이저 / 트랜스포머 / 데이터셋 순서로 설명을 이어나갔다.

 

실제 데이터를 기반으로 벡터화하며 모델을 생성하는 일련의 과정을 상세히 보여주는 도서였다.

 

현재, 나의 수준으로는 읽기가 어려운 부분이 좀 많은 책이었다.

 

해당 도서를 선택하실 분들은 최소한의 자연어 모델을 구축해보신 분들이 채택했으면 한다.

 

많은 도움이 못되는 후기라 사과의 말씀을 드리며, 추후 공부를 더 한 뒤 해당 도서를 읽어봐야겠다.