Epoch

Data

Which dataset do you want to use?

Features

Which properties do you want to feed in?

Click anywhere to edit.
Weight/Bias is 0.2.
This is the output from one neuron. Hover to see it larger.
The outputs are mixed with varying weights, shown by the thickness of the lines.

Output

Test loss
Training loss
Colors shows data, neuron and weight values.

Model vyššie rieši kategorizačnú úlohu, ktorú možno prirovnať k úlohe, ktorú musela v známej rozprávke vyriešiť Popoluška ohľadom triedenia hrachu a šošovice alebo oddelenia hrachu od šošovice. Predstavme si, že máme v rovine niekoľko modrých a červených bodov, ktoré môžu byť pomiešané ako hrach a šošovica v spomínanej rozprávke. Našou úlohou je ohraničiť oblasť s modrými bodmi a s červenými bodmi. Je všeobecne známe, že v rovine nemožno vyriešiť už buď alebo, inak povedané non ekvivalenciu, tým, že použijeme na kategorizáciu len vstupnú a výstupnú vrstvu neurónovej siete. Táto úloha sa dá jednoducho predstaviť: body [0, 0] a [1,1] sú body, kedy je non ekvivalencia nepravdivá a povedzme sa jedná o modré body a body [0,1] a [1,0], kedy je non ekvivalencia pravdivá by boli červenými bodmi (je ľahké sa presvedčiť, že pri logickom operátore AND tieto body oddelíme jednou priamkou, lebo AND je pravdivé v prídade [1,1] a nepravdivé v prípade [0,0], [0,1] [1,0] a bod [1, 1] ide oddeliť od bodov [0,0], [0,1], [1,0] dokonca nekonečným počtom priamok tak, aby v jednej polrovine bol bod [1,1] a v druhej zvyšné tri, podobná situácia je v prípade OR). Zrejme nemožno v prípade non ekvivalencie cez tieto body preložiť jednu priamku, ktorá predstavuje rovnicu nadroviny a tiež vzťah medzi výstupom a vstupom ako lineárnu kombináciu váh plus bias tejto jednoduchej neurónovej siete, tak, aby sa rovina rozdelila na dve časti, kde budú červené a modré body zvlášť. Na toto je potrebné zaradiť do neurónovej siete minimálne jednu skrytú vrstvu. Model vyššie obsahuje rôzne riadiace prvky ako počet neurónov, počet skrytých vrstiev, learning rate, možnosť zvoliť si usporiadanie modrých a oranžových bodov, počet epoch, vybrať si aktivačnú funkciu, ... . Po zvolení týchto riadiacich parametrov celý proces separácie bodov odštartujeme okrúhlym tlačítkom Štart po ľavej strane od nápisu Epoch. Celý model, či program je skvelou ilustráciou toho, ako prebieha výpočet v neurónovej sieti, ako sa postupne znižuje hodnota stratovej funkcie (loss function), ktorej minimalizáciou dostaneme naše optimálne riešenie alebo aspoň prípustné riešenie, teda riešenie, ktoré spĺňa podmienky úlohy. Na tomto mieste treba spomenúť aj techniku SVM (Support Vector Machine), pri ktorej sa rieši optimalizačná úloha v zmysle najväčšieho oddelenia jednej množiny od druhej, teda akási maximálna hranica. Táto technika je technikou patriacou do strojového učenia (machine learning) a nie do deep learning a nie je to riešenie pomocou konštrukcie neurónovej siete. Z tohto vyplýva, že na riešenie istých úloh je niekedy možné použiť aj viacej techník a napr. potom tieto výsledky porovnať.