Sztuczne sieci neuronowe

Wykłady i laboratorium powinny być dostępne dla studentów z podstawowym przygotowaniem matematycznym i informatycznym, jakiego oczekujemy na drugim stopniu nauczania.

przedmiot obowiązkowy

Godziny realizowane z udziałem nauczycieli ( 60 godz.):

- udział w wykładach 30 godz.

- udział na laboratoriach 30 godz.

Czas poświęcony na pracę indywidualną studenta (90 godz.):

- przygotowanie do wykładu 10 godz.

- przygotowanie do laboratoriów 20 godz.

- przygotowanie do egzaminu 30 godz.

- przygotowanie projektów zaliczeniowych 30 godz.

Łącznie: 150 godz. (5 ECTS)

W1. posiada wiedzę na temat inspiracji neurobiologicznych algorytmów sztucznych sieci neuronowych, modeli neuronów, wiedzę teoretyczną i praktyczną w zakresie podstawowych typów sieci neuronowych, jak i ich rozlicznych zastosowań (realizuje efekt kierunkowy K_W01 dla kierunku Informatyka Stosowana drugiego stopnia)

W2. ma wiedzę na temat projektowania podstawowych algorytmów sztucznych sieci neuronowych (realizuje efekt kierunkowy K_W02 dla kierunku Informatyka Stosowana drugiego stopni)

W3. posiada szczegółową wiedzę związaną ze specjalnością informatyka stosowana (realizuje efekty kierunkowe K_W01, K_W05 dla kierunku Informatyka Stosowana drugiego stopni)

U1- potrafi zrozumieć do jakich zadań i w jakich warunkach można zastosować modele sztucznych sieci neuronowych i ocenić, czego się można po nich spodziewać (realizuje efekty kierunkowe K_U01, K_U04 dla kierunku Informatyka Stosowana drugiego stopni).

U2- potrafi wykorzystać nabytą wiedzę matematyczną do opisu modeli sieci neuronowych, zapisu algorytmów, wykorzystać ogólną wiedzę matematyczną do formułowania i rozwiązania problemów, wykorzystując istniejące programy i pisząc własne dla sieci neuronowych różnych typów (realizuje efekty kierunkowe K_U01, K_U04 dla kierunku Informatyka Stosowana drugiego stopni).

U3 - potrafi wykorzystać nabytą wiedzę do analizy danych z zastosowaniem modeli sieci neuronowych w różnych dziedzinach (realizuje efekt kierunkowy K_U04 dla kierunku Informatyka Stosowana drugiego stopni).

U4 - potrafi pozyskiwać informacje z literatury, repozytoriów programów i baz danych oraz innych źródeł, w celu rozwiązywania zadań za pomocą programów typu sieci neuronowych i danych do analizy pobranych z repozytoriów bądź programów własnoręcznie napisanych i danych zgromadzonych samemu (realizuje efekty kierunkowe K_U01, K_U03 dla kierunku Informatyka Stosowana drugiego stopni)

K1 - potrafi samodzielnie zdobywać i doskonalić wiedzę oraz

umiejętności profesjonalne wykorzystując sieci neuronowe do kreatywnego rozwiązywania problemów (realizuje efekt kierunkowy K_K01 dla kierunku Informatyka Stosowana drugiego stopni)

K2 - może podjąć pracę wymagającą umiejętności w zakresie analizy danych za pomocą sieci neuronowych w środowiskach krajowych i międzynarodowych, w szczególności europejskich przedsiębiorstw i instytucji (realizuje efekty kierunkowe K_K04, K_K06 dla kierunku Informatyka Stosowana drugiego stopni)

Metody dydaktyczne podające:

- wykład informacyjny (konwencjonalny)

- wykład problemowy

- wykład informacyjny (konwencjonalny)
- wykład problemowy

Wykład "Sieci neuronowe" omawia kluczowe zagadnienia związane z algorytmami powstałymi na skutek inspiracji neurobiologicznych. Obejmuje podstawowe wiadomości na temat neurobiologii, omawia najprostsze modele rozproszonego przetwarzania informacji, różne wczesne pomysły układów uczących się, szczegółowo omawia perceptrony wielowarstwowe, liczne warianty algorytmów uczących takie układy, oraz wybrane zastosowania, sieci wykorzystujące radialne funkcje bazowe, oraz sieci dynamiczne i samoorganizujące. Wykład porusza też tematykę głębokich sieci neuronowych.

1. Inspiracje Biologiczne: sieci neuronowe.

Inspiracje biologiczne: rys historyczny; cele modelowania; ogólne własności modeli neuronowych; inteligentne zachowania sieci;

Główne aspekty modeli neuronowych

2. Perceptrony i reguły uczenia

Perceptron prosty (binarny) i problem klasyfikacji 2 klasowej, separowalnośc liniowa

Reguły uczenia: reguła perceptronowa, Widrowa-Hoffa, reguła delta

Algorytmy uczenia perceptronu, algorytm kieszonkowy, algorytm kieszonkowy z zapadką

Funkcje aktywacji neuronu: binarna, liniowa, sigmoidalna, tanh, ReLU

Uczenie metodą największego spadku gradientu

Klasyfikacja wieloklasowa, Adeline, maszyna liniowa

3. MLP - perceptrony wielowarstwowe.

Wsteczna propagacja błędów: uogólniona reguła delta, minimalizacja błędów

Własności wielowarstwowych perceptronów

4. Ulepszenia wstecznej propagacji błędów.

Procedury minimalizacji błędu

Lokalne minima, funkcje kosztu, inicjalizacja parametrów

Upraszczanie sieci - regularyzacja

5. Radialne Funkcje Bazowe i algorytmy aproksymacyjne.

Teoria RBF,

MLP i RBF jako uniwersalny aproksymator

6. Samoorganizacja - uczenie bez nadzoru.

Samoorganizujące się odwzorowanie topologiczne Kohonena

Uczenie konkurencyjne: WTA Zwycięzca bierze wszystko, WTM, LVQ - wektorowa kwantyzacja

SOM i MDS: skalowanie wielowymiarowe, mapy semantyczne

Sieci samoorganizujące się typu Hebba, reguła Hebba

7. Sieci dynamiczne.

Model Hopfielda. Sieci ze sprzężeniami zwrotnymi.

Maszyny Boltzmana i sieci stochastyczne, RBM

8. Głebokie uczenie i głebokie modele neuronowe

Modele hierarchiczne i uczenie się reprezentacji wiedzy

Problemy uczenia głębokich sieci: niestabilny gradient, przeuczenie, koszt pamięci (ilość parametrów uczenia), koszt czasu treningu (duże dane)

Głębokie sieci MLP (DNN) i ich zastosowania

9. Sieci splotowe (konwolucyjne)

Splot 1D, 2D, 3D, mapy cech, pola recepcyjne

Sieci splotowe i ich zastosowania do analizy obrazów

Metody stosowane w uczniu głębokim: batch normalization, dropout, residual networks, itp.

10. Sieci rekurencyjne i modelowanie sekwencji

Modelowanie sekwencji za pomocą sieci jednokierunkowych oraz rekurencyjnych

Sieci RNN, siec Elmana, sieci z pamięcią

Jednostki Long-Short Term Memory (LSTM), Gate Recurrent Unit (GRU), inne odmiany LSTMa

Algorytm wstecznej propagacji w czasie (BPTT)

Funkcja kosztu CTC

Modele z atencją, modele encoder-decoder (seq2seq)

11. Ucznie nienadzorowane i ekstrakcja cech

Autoenkodery i kodowanie sygnału

Deep Belief Networks (DBNs)

12. Wybrane problemy i modele głebokie

Rozpoznawanie mowy (ASR), neuronowe modele akustyczne

Modelowanie języka i word embeding (word2vec)

Maszynowe tłumaczenie (seq2seq), modele z atencją

Sieci typu GAN

Korbicz J, Obuchowicz A, Uciński D, Sztuczne sieci neuronowe. Podstawy i zastosowania. Akademicka Oficyna Wydawnicza, Warszawa, 1994

Stanisław Osowski Sieci neuronowe w ujęciu algorytmicznym Wydawnictwa Naukowo-Techniczne 1996

J. Żurada, M. Barski, W. Jędruch Sztuczne sieci neuronowe Wydawnictwo Naukowe PWN 1996

Ryszard Tadeusiewicz, Tomasz Gąciarz, Barbara Borowik, Bartosz Lepe, Odkrywanie właściwości sieci neuronowych przy użyciu programów w języku C#. Polska Akademia Umiejętności 2008

Metody oceniania:

Wykład: egzamin pisemny oraz przynajmniej dwa projekty własne weryfikujące efekty kształcenia,

W1, W2, U1, U2, U3, U4, K1, K2

Kryteria oceniania:

Wykład: zaliczenie odbędzie się na podstawie egzaminu pisemnego oraz dwóch projektów zaliczeniowych. Wynik egzaminu to 50% oceny końcowej, każdy z projektów to 25% do oceny.

Wykład: egzamin + projekty

51-60% - ocena: 3

61-70% - ocena: 3+

71-80% - ocena: 4

81-90% - ocena: 4+

91-100% - ocena 5

Laboratoria: kolokwium i projekty

51-60% - ocena: 3

61-70% - ocena: 3+

71-80% - ocena: 4

81-90% - ocena: 4+

91-100% - ocena 5