본 포스팅은 CS576 수업에서 제가 새로 배운 부분만 정리한 것입니다.

Support Vector Machine(SVM)

• Max-margin classifier
• 
• 
• margin을 maximize해서 학습한다.
  • 
  • 
    • convex optimizer의 regulation
    • 위 식으로 $\frac{\delta L_p}{\delta w} = 0$, $\frac{\delta L_p}{\delta b} = 0$를 만족하는 w와 b를 찾는다.
    • 
    • 
    • 항상 global optimum을 얻을 수 있다.

Non-separable SVM

• Soft margin
  • 마진 평면을 넘어가는 인스턴스를 허용
  • 
    • 
    • 파라미터 C는 허용되는 오류 양을 조절한다. C 값이 클수록 오류를 덜 허용하며 이를 하드 마진(hard margin)이라 부른다. 반대로 C 값이 작을수록 오류를 더 많이 허용해서 소프트 마진(soft margin)을 만든다.
• Kernel Method
  • 

Multi-class SVM

• One-versus-all : one vs the others
• One-versus-one : true vs false