3. 기초 머신러닝 이론: 경사하강법을 통한 극값의 근사

앞서 살펴본 선형회귀 계산은 참값을 구해준다는 장점이 있지만, 시간 복잡도가 \(O(n^3)\)이기에 데이터가 커질 경우 시간이 오래 걸린다는 단점이 있습니다. 비록 다항시간 알고리즘이긴 하지만, 데이터의 수가 백만 단위가 넘어가는 일이 매우 많다는 것을 고려하면 세제곱 시간 역시 짧은 시간은 아닙니다. 그래서 구체적으로 w값을 구하기보단, 이를 근사하는 경사 하강법(Gradient Descent)이 선형회귀의 계수를 구하는 데 널리 사용됩니다...