A tanfolyam végére teljesen megérted a neurális hálók működését. Ebben a részben a hangsúly a hálózat tanításán van. A korábbiakban megértettük, hogyan készít predikciót a hálózat (forward feed) és hogyan tudja egyetlen számban kifejezeni, hogy az mennyire volt helyes (loss fügvény). Átrágtuk magunkat a Mátrix szorzásokon a Categorical Cross-ENtropy + SoftManx kombón. 

Most pedig megtanuljuk módostani a hálózat paramétereit a helyes irányba, backpropagation segítségével. Elindulunk a középiskolában tanult egy paraméteres függvények deriváltjától a sok paraméteres parciális deriváltakon át a gradiensek  és az optimizerek világába. Alkalmazzuk a chain rule-t, és felrajzoljuk a saját problémánk computational gráfját. Nem küldök el senkit Analízis órára máshová, itt mindent megértünk ami kell! Az egészet persze implementáljuk pythonban! Ez egy deep-dive tanfolyam a javában!

  • Szükséges előismeretek!

    Ez a tanfolyam folytatása a címében hasonló társának! ELőször érdemes azzal kezdeni. Ez a 2/2!

  • Kinek ajánljuk?

    Minden deep learning szakértőnek, vagy jövőbeli szakértőnek egy alapmű.

  • Mit tanulsz meg?

    Framewörkök nélkül betanítunk egy hálózatot kézzel írt számjegyek felismerésére! Ha ezt érted, mindent értesz :) !

Témakörök

  1. 1

    • 1. Mnist.py

    • 2. Súlyok inicializálása véletlen számokkal

    • 3. Batch input, saját dataloader

    • 4. Forward feed

    • 5. SoftMax felidézése

    • 6. SoftMax implementálása szimpla vektorra

    • 7. SoftMax batch kompatibilisen

    • 8. Keepdims, aggregálásnál a méret megtartása

    • 9. Cross-entropy one-hot encoding

    • 10. Cross-Entropy implementálása

    • 11. Cross-Entropy tesztelése

    • 12. Hálózat tanítása

    • 13. Középiskolai deriválás felidézése

    • 14. Több paraméteres fgv. deriváltja, gradient

    • 15. Computational graph

    • 16. Függvény darabolása

    • 17. Chain rule

    • 18. A mi hálózatunk computational gráfja

    • 19. Pytorchban deriválunk

    • 20. Pytorchban a súlyok gradiense

    • 21. SoftMax + Cross-Entropy

    • 22. Computational graph és a gradiens kiszámolása

    • 23. Loss gradiense w.r.t. W2

    • 24. Cross-Entropy deriváltja

    • 25. Cross-Entropy deriváltjának implementálása

    • 26. W2 gradiens kiszámítása

    • 27. Bias2 gradiens kiszámítása

    • 28. W2 es Bias2 gradiens implementálása

    • 29. Hidden layer gradiense

    • 30. Hidden layer gradiense implementálva

    • 31. ReLU deriváltja

    • 32. ReLU deriváltjának vizsgálata debuggal

    • 33. W1 gradiense

    • 34. W1 gradient implementálása

    • 35. Bias1 gradiense

    • 36. Az SGD Optimizer

    • 37. SGD optimizer implementálása

    • 38. Teszt adatokon accuracy számítása

    • 39. Transpose így vagy úgy

    • 40. SGD optimizertől az ADAMig

    • 41. SGD + momentum

    • 42. ADAM

    • 43. ADAM pytorchban

    • 44. Hálózat paramétereinek elmentése

    • 45. Hálózat paramétereinek betöltése, inference

    • 46. L2 regularization vs weight decay

    • 47. Felismerhetetlen képek ábrázolása

    • 48. Loss kiszámítása

    • 49. Melyik képé a legnagyobb loss?

    • 50. Legroszabb képek táblázatosan

    • 51. Hyperparameter állítgatás, 98% feletti pontosság

    • Project letöltése

Oktató

AI expert

Péter Litkei

Engem már teljesen besszipantott a mesterséges intelligencia, pontosabban a deep learning világa. 2012-től kezdődően a legtöbb szolgáltatás használ valamiféle neurális hálót, - kép és beszédfelismerők, google translate, önvezető autók és mire te ezt olvasod valószínűleg a barátod/barátnőd is :) - a jövő egyértelműen ez.