Machine Learning
Normalization, Standardization, Regularization
hoon123
2022. 5. 20. 11:44
Normalization
- feature 값의 범위를 0과 1사이로 표현
- 학습전에 scaling를 함
- ML에서 범위가 큰 feature의 영향을 줄임
- Deep Learning에서 Local Minima(극소점이 아닌 극값, 기울기가 0이되는 다른 지점)빠지는 문제의 확률을 감소
Standardization
- feature 값의 범위를 평균이 0, 분산이 1이 되도록 변환
- 학습전에 scaling를 함
- ML에서 범위가 큰 feature의 영향을 줄임
- Deep Learning에서 Local Minima(극소점이 아닌 극값, 기울기가 0이되는 다른 지점)빠지는 문제의 확률을 감소
- 정규분포를 표준정규분포로 변환하는 것과 같음
Regularization
- Weight 를 조정하는데 규제(규약)을 검
- Overfitting을 막는데 사용
reference