Sztuczne sieci neuronowe
Informacje ogólne
Kod przedmiotu: | 0800-SSNEUR |
Kod Erasmus / ISCED: |
(brak danych)
/
(0618) Interdyscyplinarne programy i kwalifikacje związane z technologiami informacyjno-komunikacyjnymi
|
Nazwa przedmiotu: | Sztuczne sieci neuronowe |
Jednostka: | Wydział Fizyki, Astronomii i Informatyki Stosowanej |
Grupy: |
Informatyka Stosowana s2. Przedmioty do wyboru specjalistyczne (wszystkie) |
Strona przedmiotu: | https://www.fizyka.umk.pl/~grochu/nn |
Punkty ECTS i inne: |
5.00
|
Język prowadzenia: | polski |
Wymagania wstępne: | Wykłady i laboratorium powinny być dostępne dla studentów z podstawowym przygotowaniem matematycznym i informatycznym, jakiego oczekujemy na drugim stopniu nauczania. |
Rodzaj przedmiotu: | przedmiot obowiązkowy |
Całkowity nakład pracy studenta: | Godziny realizowane z udziałem nauczycieli ( 60 godz.): - udział w wykładach 30 godz. - udział na laboratoriach 30 godz. Czas poświęcony na pracę indywidualną studenta (90 godz.): - przygotowanie do wykładu 10 godz. - przygotowanie do laboratoriów 20 godz. - przygotowanie do egzaminu 30 godz. - przygotowanie projektów zaliczeniowych 30 godz. Łącznie: 150 godz. (5 ECTS) |
Efekty uczenia się - wiedza: | W1. posiada wiedzę na temat inspiracji neurobiologicznych algorytmów sztucznych sieci neuronowych, modeli neuronów, wiedzę teoretyczną i praktyczną w zakresie podstawowych typów sieci neuronowych, jak i ich rozlicznych zastosowań (realizuje efekt kierunkowy K_W01 dla kierunku Informatyka Stosowana drugiego stopnia) W2. ma wiedzę na temat projektowania podstawowych algorytmów sztucznych sieci neuronowych (realizuje efekt kierunkowy K_W02 dla kierunku Informatyka Stosowana drugiego stopni) W3. posiada szczegółową wiedzę związaną ze specjalnością informatyka stosowana (realizuje efekty kierunkowe K_W01, K_W05 dla kierunku Informatyka Stosowana drugiego stopni) |
Efekty uczenia się - umiejętności: | U1- potrafi zrozumieć do jakich zadań i w jakich warunkach można zastosować modele sztucznych sieci neuronowych i ocenić, czego się można po nich spodziewać (realizuje efekty kierunkowe K_U01, K_U04 dla kierunku Informatyka Stosowana drugiego stopni). U2- potrafi wykorzystać nabytą wiedzę matematyczną do opisu modeli sieci neuronowych, zapisu algorytmów, wykorzystać ogólną wiedzę matematyczną do formułowania i rozwiązania problemów, wykorzystując istniejące programy i pisząc własne dla sieci neuronowych różnych typów (realizuje efekty kierunkowe K_U01, K_U04 dla kierunku Informatyka Stosowana drugiego stopni). U3 - potrafi wykorzystać nabytą wiedzę do analizy danych z zastosowaniem modeli sieci neuronowych w różnych dziedzinach (realizuje efekt kierunkowy K_U04 dla kierunku Informatyka Stosowana drugiego stopni). U4 - potrafi pozyskiwać informacje z literatury, repozytoriów programów i baz danych oraz innych źródeł, w celu rozwiązywania zadań za pomocą programów typu sieci neuronowych i danych do analizy pobranych z repozytoriów bądź programów własnoręcznie napisanych i danych zgromadzonych samemu (realizuje efekty kierunkowe K_U01, K_U03 dla kierunku Informatyka Stosowana drugiego stopni) |
Efekty uczenia się - kompetencje społeczne: | K1 - potrafi samodzielnie zdobywać i doskonalić wiedzę oraz umiejętności profesjonalne wykorzystując sieci neuronowe do kreatywnego rozwiązywania problemów (realizuje efekt kierunkowy K_K01 dla kierunku Informatyka Stosowana drugiego stopni) K2 - może podjąć pracę wymagającą umiejętności w zakresie analizy danych za pomocą sieci neuronowych w środowiskach krajowych i międzynarodowych, w szczególności europejskich przedsiębiorstw i instytucji (realizuje efekty kierunkowe K_K04, K_K06 dla kierunku Informatyka Stosowana drugiego stopni) |
Metody dydaktyczne: | Metody dydaktyczne podające: - wykład informacyjny (konwencjonalny) - wykład problemowy |
Metody dydaktyczne podające: | - wykład informacyjny (konwencjonalny) |
Skrócony opis: |
Wykład "Sieci neuronowe" omawia kluczowe zagadnienia związane z algorytmami powstałymi na skutek inspiracji neurobiologicznych. Obejmuje podstawowe wiadomości na temat neurobiologii, omawia najprostsze modele rozproszonego przetwarzania informacji, różne wczesne pomysły układów uczących się, szczegółowo omawia perceptrony wielowarstwowe, liczne warianty algorytmów uczących takie układy, oraz wybrane zastosowania, sieci wykorzystujące radialne funkcje bazowe, oraz sieci dynamiczne i samoorganizujące. Wykład porusza też tematykę głębokich sieci neuronowych. |
Pełny opis: |
1. Inspiracje Biologiczne: sieci neuronowe, podstawowe pojęcia Inspiracje biologiczne: rys historyczny; cele modelowania; ogólne własności modeli neuronowych; inteligentne zachowania sieci Rodzaje uczenia: uczenie nadzorowane, nienadzorowane i uczenie z krytykiem Główne aspekty modeli neuronowych Model neuronu McCulloch-Pitts'a 2. Perceptrony i reguły uczenia Perceptron Rosenblatta Perceptron prosty (binarny) i problem klasyfikacji 2 klasowej, separowalnośc liniowa Reguły uczenia: reguła perceptronowa, Widrowa-Hoffa, reguła delta Algorytmy uczenia perceptronu, algorytm kieszonkowy, algorytm kieszonkowy z zapadką Funkcje aktywacji neuronu: binarna, liniowa, sigmoidalna, tanh, ReLU Uczenie metodą największego spadku gradientu Klasyfikacja wieloklasowa, Adeline, maszyna liniowa 3. MLP - perceptrony wielowarstwowe. Wsteczna propagacja błędów: uogólniona reguła delta, minimalizacja błędów Własności wielowarstwowych perceptronów Funkcje kosztu MSE i Cross Entropy Dobór architektury MLP i funkcji kosztu do typowych zadań 4. Ulepszenia wstecznej propagacji błędów. Procedury minimalizacji błędu Lokalne minima, funkcje kosztu, inicjalizacja parametrów Algorytmy optymalizacji: Quickprop, RPROP, metoda Newtona, algorytm Levenberg-Marquardta, gradientów sprzężonych 5. Generalizacja i regularuzacja treningu MLP Generalizacja, ewaluacja treningu, przeuczenie i niedouczenie modelu Zbiór walidacyjny i metoda wczesnego zatrzymania Regularyzacja L2, L1 Dobór liczby neuronów sieci 6. Radialne Funkcje Bazowe i algorytmy aproksymacyjne. Teoria RBF, MLP i RBF jako uniwersalny aproksymator Reularyzacja RBF Inicjalizacja i adaptacja centrów i rozmyć funkcji radialnych 7. Samoorganizacja - uczenie konkurencyjne Samoorganizujące się odwzorowanie topologiczne Kohonena Uczenie konkurencyjne: WTA Zwycięzca bierze wszystko, WTM, LVQ - wektorowa kwantyzacja Gaz Neuronowy, Growing Cell Structures, Growing Neural Gas SOM i MDS: skalowanie wielowymiarowe, mapy semantyczne 8. Sieci samoorganizujące się typu Hebba, reguła Hebba Reguła Hebba i rekuła Oji PCA Uogólniony algorytm hebbowski Uczenie anty-hebbowskie APEX 9. Sieci dynamiczne. Model Hopfielda. Sieci ze sprzężeniami zwrotnymi. Maszyny Boltzmana i sieci stochastyczne, RBM Zastosowania w modelowaniu pamięci autoasocjacyjnej i optymalizacji 10. Głebokie uczenie i głebokie modele neuronowe Modele hierarchiczne i uczenie się reprezentacji wiedzy Głębokie vs. “płytkie” modele, dlaczego głębokość ma znaczenie? Problemy uczenia głębokich sieci: niestabilny gradient, przeuczenie, koszt pamięci (ilość parametrów uczenia), koszt czasu treningu (duże dane) Głębokie sieci MLP (DNN) i ich zastosowania Sieci z jednostkami ReLU , modyfikacje ReLU (PReLU, ELU, ReLU6), Maxout - przykłady zastosowań Algorytm uczenia SGD z momentem Nesterova, AdaGrad, RMSProp, Adam, AdaDelta 11. Sieci splotowe (konwolucyjne) Splot 1D, 2D, 3D, mapy cech, pola recepcyjne Sieci splotowe i ich zastosowania do analizy obrazów Metody stosowane w uczniu głębokim: Batch Normalization, Dropout, połączenia skrótowe, zwielokrotnianie danych weksciowych, splot filtrem 1×1, itp. Architektury : LeNet-5, AlexNet, GoogleNet/Inception, VGG Net, ResNet 12. Sieci rekurencyjne i modelowanie sekwencji Modelowanie sekwencji za pomocą sieci jednokierunkowych oraz rekurencyjnych Jednostki Long-Short Term Memory (LSTM), Gate Recurrent Unit (GRU), inne odmiany LSTMa Algorytm wstecznej propagacji w czasie (BPTT) Modele z atencją, modele encoder-decoder (seq2seq) Rozpoznawanie mowy (ASR), neuronowe modele akustyczne Funkcja kosztu CTC 13. Ucznie reprezentacji, autoenkodery i modele generatywne Autoenkodery i kodowanie sygnału Autokoendery odszumiające i VAE Deep Belief Networks (DBNs) Sieci typu GAN |
Literatura: |
Literatura podstawowa: - Stanisław Osowski, Sieci neuronowe w ujęciu algorytmicznym, Wydawnictwa Naukowo-Techniczne, 1996 - J. Żurada, M. Barski, W. Jędruch, Sztuczne sieci neuronowe, Wydawnictwo Naukowe PWN, 1996 - I. Goodfwllow, Y. Bengio, A. Courville, Deep Learning, MIT Press, 2016 URL: https://www.deeplearningbook.org/ - A. Zhang, Zack C. Lipton, Mu Li, Alex J. Smola, Dive into Deep Learning, 2023, URL: https://d2l.ai/ |
Metody i kryteria oceniania: |
Metody oceniania: Wykład: egzamin w formie testu weryfikujące efekty kształcenia W1, W2, U1, U2, U3, U4, K1, K2 Laboratorium: ocena na podstawie zadań realizowanych na zajęciach i projektów zaliczeniowych weryfikujących efekty kształcenia W1, W2, U1-U4, K1, K2 Kryteria oceniania: Wykład: zaliczenie odbędzie się na podstawie egzaminu w formie testu, oceny wyznaczone według przelicznika: 51-60% - ocena: 3 61-70% - ocena: 3+ 71-80% - ocena: 4 81-90% - ocena: 4+ 91-100% - ocena 5 Laboratorium: zaliczenie na podstawie zadań realizowanych na laboratoriach oraz oceny projektów zaliczeniowych wg. przelicznika: 51-60% - ocena: 3 61-70% - ocena: 3+ 71-80% - ocena: 4 81-90% - ocena: 4+ 91-100% - ocena 5 |
Zajęcia w cyklu "Semestr letni 2021/22" (zakończony)
Okres: | 2022-02-21 - 2022-09-30 |
Przejdź do planu
PN WYK
WT LAB
ŚR CZ PT |
Typ zajęć: |
Laboratorium, 30 godzin
Wykład, 30 godzin
|
|
Koordynatorzy: | Marek Grochowski | |
Prowadzący grup: | Krzysztof Dobosz, Marek Grochowski | |
Lista studentów: | (nie masz dostępu) | |
Zaliczenie: |
Przedmiot -
Egzamin
Laboratorium - Zaliczenie na ocenę Wykład - Egzamin |
Zajęcia w cyklu "Semestr letni 2022/23" (zakończony)
Okres: | 2023-02-20 - 2023-09-30 |
Przejdź do planu
PN WYK
LAB
WT ŚR CZ PT |
Typ zajęć: |
Laboratorium, 30 godzin
Wykład, 30 godzin
|
|
Koordynatorzy: | Marek Grochowski | |
Prowadzący grup: | Marek Grochowski | |
Lista studentów: | (nie masz dostępu) | |
Zaliczenie: |
Przedmiot -
Egzamin
Laboratorium - Zaliczenie na ocenę Wykład - Egzamin |
Zajęcia w cyklu "Semestr letni 2023/24" (w trakcie)
Okres: | 2024-02-20 - 2024-09-30 |
Przejdź do planu
PN WT ŚR CZ PT |
Typ zajęć: |
Laboratorium, 30 godzin
Wykład, 30 godzin
|
|
Koordynatorzy: | Marek Grochowski | |
Prowadzący grup: | (brak danych) | |
Lista studentów: | (nie masz dostępu) | |
Zaliczenie: |
Przedmiot -
Egzamin
Laboratorium - Zaliczenie na ocenę Wykład - Egzamin |
Właścicielem praw autorskich jest Uniwersytet Mikołaja Kopernika w Toruniu.