추론(Inference)

배치 정규화를 공부 중 추론이란 부분이 나왔다.

 

처음 듣는 단어이고 검색을 해보니 Prediction과는 다른 부분이었다.

 

우리가 흔히 아는 학습된 모델에 새로운 데이터를 넣고 결과를 보는 것이 보통은 Prediction의 프로세스이다.

 

하지만, Inference(이하 추론)은 조금은 다른 목적을 가지며 새로운 데이터를 모델에 넣는다.

 

우선, 추론이 무엇인지 먼저 확인해보자.

 

 

https://koreapy.tistory.com/1108

[파이썬] Inference vs Prediction (추론 vs 예측) 차이점

 

국내 글 중 추론을 가장 잘 설명해 놓은 블로그 글인 것 같다.

 

한번에 추론이 무엇을 의미하는지 알 수 있었다.

 

위 블로그와 중복되는 내용이 존재하지만, 내가 이해한 것을 정리하는 목적으로 글을 작성하는 것이니 정리를 해보고자 한다.

 

예측은 데이터를 넣어서 결과가 이상하든 좋든 Output이 존재한다. 

 

하지만, 추론은 가능 여부가 존재한다. 

 

해당 모델에 대한 해석 가능성이 추론 가능 여부로 나뉜다.

한마디로 추론이 가능한 모델은 해석이 가능한 모델이라 보면 된다.

 

해석 가능은 선형 모델, 의사 결정 트리가 있고,

해석 불가능 모델은 신경망, 비선형, svm, 랜덤 포레스트 가 존재한다.

 

예시) 선형 svm은 개별 기능의 영향을 설명할 수 있도록 모든 기능에 대한 계수를 제공한다.

그러나, SVM은 모델 계수(예 :분산)와 관련된 불확실성을 추정하는 것을 허용하지 않으며 모델 신뢰도의 암시적 측정을 얻는 것이 불가능하다.

→ svm은 확률을 출력할 수 있지만 이러한 확률은 결정 값의 변환일 뿐이며 매개변수 추정과 관련된 신뢰도에 기반을 두지 않습니다. 이것이 선형 svm 및 결정트리와 같은 해석 가능한 방법 조차도 추론에 적합하지 않은 이유입니다.

반대로, 데이터가 가우스 분포를 따른다고 가정하는 선형회귀를 고려해보면 모델은 계수 추정치의 표준 오차와 출력 신뢰 구간을 결정합니다. 선형 회귀를 사용하면 데이터 생성 프로세스의 확률적 특성을 이해할 수 있으므로 추론에 적합한 방법입니다.

 

 

사실 나는 위 설명으로도 조금은 명확한 이해가 가지 않은 상태였다.

 

하지만, 아래의 글을 보고 완벽히 이해할 수 있었다.

 

[ 추론 ]

1. 모델링 : 데이터 생성 프로세스에 대한 이유와 데이터 생성 프로세스에 가장 근접한 확률 모델을 선택

2. 모델 검증 : 잔차 분석 또는 적합도 테스트를 사용하여 확률적 모델의 유효성을 평가

3. 추론 : 확률 모델을 사용하여 데이터 생성 프로세를 이해

 

[ 예측 ]

1. 모델링 : 여러 다른 모델과 다른 매개변수 설정을 고려

2. 모델 선택 : 검증/테스트 세트를 사용하여 예측 성능이 가장 뛰어난 모델을 식별합니다. 테스트 세트에서 가장 높은 성능을 가진 모델을 선택

3. 예측 : 선택한 모델이 보이지 않는 데이터에도 일반화될 것으로 예상하여 선택한 모델을 새 데이터에 적용