Backpropagation
Perceptron ๆ็ฅๆบ
่ฟๆฏ็ๅฎ็็ฅ็ปๅ ๅปบๆจก๏ผ
ๅฆๆๆไปฌไปๆฐๅญฆไธๅปบๆจก่ฟๆ ท็็ฅ็ปๅ ๏ผๅฐฑๆฏ่ฟๆ ท็๏ผ
ๆไปฌ็ฐๅจ่ฆๅผๅง่ฎฒ่งฃๆ็ฅๆบใ้ฆๅ ๏ผๆไปฌๅคไน ไธไธ่งฃๆๅ ไฝ็ฅ่ฏใ
ๅฆๆไธไธชๅนณ้ข/็ด็บฟๆฏไปฅwTx + b = 0็ๅฝขๅผ็ปๅบ็๏ผ้ฃไน๏ผwๅฐฑๆฏๅนณ้ข็ๆณๅ้๏ผbๆฏๅนณ้ขๅจๆณๅ้ไธๅนณ็งป็่ท็ฆปใ
่ๅฆๆไธคไธชๅ้็นไน๏ผa = (a1 .. an), b = (b1 .. bn), dot(a,b) = a1b1 +..+ anbnไธบๆ ้๏ผ้ฟๅบฆไธบbๅจaๆนๅไธ็ๆๅฝฑ้ฟๅบฆใ
ๆไบ่ฟๆ ท็ๅ็ฝฎๅคไน ็ฅ่ฏ๏ผๅฐฑๆฅ็ๆ็ฅๆบใ
ๅจๅพ้้ข๏ผxไธๆฏๆจชๅๆ ๏ผ่ๆฏไธไธชๅ้x = (x1 .. xn), ๆๅๆไธชๆนๅ๏ผwไธบhyperplane็ๆณๅ้๏ผไธhyperplaneๅ็ดใdot(x,w)ไธบxๅจwไธ็ๆๅฝฑ๏ผ่ฟ้ๅฏ่ฝๅ้้กบๅบไบ๏ผใ
่b็ๅผๅ ฅๅฐฑๆฏ่ฎฉๅนณ้ขๅจw็ๆนๅไธๅ่ฟๅ้ใไธบไบไพฟไบ็ ็ฉถ๏ผๆไปฌๅ ไธ่่ๆb็ๆ ๅตใๆไปฌๅช่่wxใ
้ฃไนๆ็ฅๆบ็ฎๆณๅฐฑๆฏ๏ผ
่ฟ้่งฃ้ไธไธใ้ฆๅ ๆไปฌ็ๅฐ๏ผ็บข่ฒ็ๅๆฏๆฒกๆ่ขซๆญฃ็กฎ็ๅ็ฑป็ใ่ฟไธชๆถๅ๏ผywTxๆฏ < 0็ใ่ฟๆถ๏ผxๆฏๆๅ็บข่ฒๅๅ็ๅ้ใyไธบๆญฃๆ่ด1ใw+yx็ๆๆๅฐฑๆฏ๏ผๅฆๆ๏ผyไธบ-1๏ผๅyxไธบx็ๅๆนๅๅ้๏ผw+yxๅๅนณ่กๅ่พนๅฝขๆณๅ๏ผๅ้ๅ ๆณ๏ผ่ฎฉw่ฟไธชๆณๅ้ๆ่ฝฌ๏ผไฝฟๅพyไธบ-1็็บข่ฒๅๅๆดๅฎนๆ่ขซๅๅฐ-1็็ฑปๅซ้ๅปใy=1ๅ็ใ
่ฟไธช็ฎๆณๆบไผ็พ็๏ผไฝๆฏ้ฎ้ขๅฐฑๆฏ๏ผๅฝๆไปฌๆณ่ฆ่ฎญ็ปไธไธชๅคๅฑ็ๆ็ฅๆบ็ๆถๅ๏ผๅฐฑไธ็ฎกไฝ็จไบใ
Chain Rule
Chain Ruleๆฒกๅฅๅฅฝ่ฏด็๏ผๅฐฑๆฏ้พๅผๆฑๅฏผใf(g(x))ๅฏนx็ๅฏผๆฐๅฐฑๆฏf'(g(x)) * g'(x)
ๅ้ขๅไบไธช้ฎ้ข๏ผๅฐฑๆฏ่ฝ็ถๆ็ฅๆบ็ฎๆณๅพไผ็พ๏ผไฝๆฏไธๆฆๅๆๅคๅฑๆ็ฅๆบ๏ผๅฐฑๆฒกๆณ็จ่ฟไธชๆนๆณไบใๆไปฅๅฐฑๆณๅฐๆขฏๅบฆไธ้ไบ๏ผๆขฏๅบฆไธ้่ฆๆฑๅฏผ๏ผsgnๅๆฒกๆณๆฑๅฏผ๏ผๆไปฅๅฏปๆฑไธไธชๆฐ็ๆฟๆดปๅฝๆฐๅปๆฟๆขsgn๏ผ้ฃๅฐฑๆณๅฐไบsigmoidใ
่ฎญ็ป็ๆถๅ๏ผๆไปฌๆๅคฑ็จ็ๆฏๅๆนๅทฎMSEใ
้ฃๅฆๆๅช็ไธๅฑ็่ฏ๏ผๅๅฑ็ๆ็ฅๆบ็่ฎญ็ปๅฐฑไปๆ็ฅๆบ็ฎๆณๅๆไบ่ฟๆ ท๏ผ
Backpropagation
ๅคๅฑๆ็ฅๆบ๏ผMLPๅๅซFeed-Forward-Networkใไธบไบ่ฎญ็ป๏ผๅฐฑ่ฆ็ฅ้ๆขฏๅบฆๆไนๅๅไผ ๆญใ
ๆไปฌๅฏไปฅๅๅฉ่ฎก็ฎๅพ๏ผๆๅๆ ็ฏ๏ผๆฅๅธฎๅฉๆไปฌ็ฎๆขฏๅบฆใ้ฆๅ ๏ผ่ฟๅผ ๅพๅฑ็คบไบไปๅๅพๅ็ฎๆขฏๅบฆ็ๅฃๅฟ๏ผๅฃๅฟๅฐฑๆฏ๏ผไฝ ้่ฆ้ๅค่ฎก็ฎ็ธๅ็ๅ ๅฎนๅพๅคๆฌกใ
ไฝไฝ ๅฆๆๅ็็ฎ๏ผๅฐฑไธ็จ้ๅค่ฎก็ฎๆขฏๅบฆไบ๏ผๅฏไปฅ้ๅคๅฉ็จใ
Loss Function
่ฟ้ไป็ปๅ ็งๅธธ็จ็Loss Function
ไบๅ็ฑป้ฎ้ข - MSEๅๆนๅทฎ
ไบๅ็ฑป้ฎ้ข - ไบๅไบคๅ็ต
ๅคๅ็ฑป้ฎ้ข - MSE
sigmoidๆขๆไบsoftmax๏ผไป่้ขๆตๆฏไธช็ฑป็ๆฆ็ใ
ๅคๅ็ฑป้ฎ้ข - ไบคๅ็ต
ๅฝ็ถ๏ผ็จไบคๅ็ตไนๅฏไปฅใ
ๅๅฝ - ๅๆนๅทฎ
ๅๅฝ - ๅ็ปๅฏน่ฏฏๅทฎ
Last updated