[AI 개념 정리] 1. 선형회귀
머신러닝 시스템은 한 번도 본 적 없는 데이터로부터 의미 있는 예측을 생산하기 위해 입력값들을 어떻게 조합할지 배웁니다. 손실함수를 최적화하여 문제 상황에 가장 적합한 모델 파라미터를 찾아 모델을 완성시키는 것이 주목적입니다.
[기본 용어]
Feature : 입력변수 (x 변수)
Label : 예측대상 (y 변수)
Model : 모델은 Feature와 Label 간의 관계를 정의
Example : data 특정 예시, model을 train 하기 위해 사용
Training : 모델을 만들거나 학습한다. 모델에게 labeled 된 example을 제공하고, 모델이 feature와 label 사이 관계 학습
Inference : 추론, unlabeled 된 example들에 trained model을 적용, trained 된 모델이 의미 있는 예측값을 만들도록 도움
Model Parameter : 올바른 예측과 결정 얻기 위해 조정하는 변수
Loss Function : 손실함수, 모델의 질을 평가하는 함수, 얼마나 잘못되었는지 알려주는 함수
Regression : 회귀, 연속적인 값을 예측한다
Classification : 분류, 이산적인 값을 예측한다
[Linear Regression 선형 회귀]
Linear Regression 선형회귀 : 두 변수의 관계를 설명하는 선형 함수를 찾아내는 것. 실제 데이터 측정값에는 노이즈가 포함된다. 다시 원래 선형 연속함수로 돌아가려는 성질 때문에 회귀라고 표현
손실함수 : 함수가 얼마나 잘못되었는가?
=> 선형 회귀를 이용해 손실 함수를 최소화시키는 것이 목표이다.
[Least Square Method 최소제곱법]
잔차(Residual) : 예측 값과 실제 값의 차이
최소제곱법 : 선 또는 곡선에서 잔차(Residual)의 제곱의 합을 줄여 데이터 점 집합에 가장 적합한 곡선 또는 가장 적합한 선을 찾는 프로세스이다.
[잔차 제곱합]
선형 회귀 모델의 학습을 통해 모델 파라미터 m, b 값을 조절하여 RSS를 최소화하고자 함
잔차의 합 대신 제곱을 사용하는 이유 : 잔차의 합은 선형 회귀 모델의 오차를 대표할 수 없다. 잔차 부호 통일 필요.
잔차의 절댓값 합 대신 제곱합을 사용하는 이유 : 절댓값을 사용한 경우 잔차 부호는 통일되나 최적화 과정이 제곱에 비해 복잡하다, 일반적으로 절댓값 함수는 미분 불가능한 반면, 제곱합은 미분이 수월하다.
[손실함수]
손실함수를 최소화하는 변수 m, b를 찾아야 하며, 이러한 접근 방식을 최소제곱법이라고 한다.
[m*,b* 구하기]
손실함수를 m, b에 대해 편미분 한 값을 연립해 m*, b*의 값을 구한다.
이렇게 구한 m*,b*를 '최소제곱추정량'이라고 한다.
출처) OUTTA AI 부트캠프