그라디언트부스트(Gradient Boost)

 

그라디언트부스트(Gradient Boost)

·         ≒ 그라디언트부스팅(Gradient Boosting)

·         아다부스트처럼 앙상블에 이전까지의 오차를 보정하도록 예측기를 순차적으로 추가합니다. 하지만 아다부스트처럼 반복마다 샘플의 가중치를 수정하는 대신 이전 예측기가 만든 잔여오차(Residual error)에 새로운 예측기를 학습시킵니다.

·         랜덤포레스트와 달리 이진 트리의 오차를 보완하는 방식으로 순차적으로 트리를 만듭니다.

·         그래디언트 부스트는 회귀와 분류에 모두 사용할 수 있습니다.

·         그래디언트 부스트는 회귀문에도 잘 동작하며 이를 그래디언트 트리 부스팅(Gradient Tree Boostring) 또는 그래디언트 부스티드 회귀트리(GBRT; Gradient Bossted Regression Tree)라고 합니다.

·         여러 개의 결정 트리를 묶어 강력한 모델을 만드는 또 다른 앙상블 기법입니다.·          

·         무작위성이 없고 강력한 사전 가지치기가 사용됩니다.

·         1~5개의 깊지 않은 트리를 사용하기 때문에 메모리를 적게 사용하고 예측이 빠릅니다.

 

https://en.wikipedia.org/wiki/Gradient_boosting

 

 

 

 

ARCING THE EDGE

그라디언트부스트(Gradient Boost) 알고리즘은 ARCING THE EDGE에 처음 소개 되었습니다.

http://statistics.berkeley.edu/sites/default/files/tech-reports/486.pdf

arcing_the_edge.pdf

 

 

 

 

참고자료

http://4four.us/article/2017/05/gradient-boosting-simply

https://medium.com/mlreview/gradient-boosting-from-scratch-1e317ae4587d

http://blog.kaggle.com/2017/01/23/a-kaggle-master-explains-gradient-boosting/

http://ishuca.tistory.com/388