Uniwersytet Mikołaja Kopernika w Toruniu - Centralny punkt logowania
Strona główna

Sztuczne sieci neuronowe

Informacje ogólne

Kod przedmiotu: 0800-SSNEUR
Kod Erasmus / ISCED: (brak danych) / (0618) Interdyscyplinarne programy i kwalifikacje związane z technologiami informacyjno-komunikacyjnymi Kod ISCED - Międzynarodowa Standardowa Klasyfikacja Kształcenia (International Standard Classification of Education) została opracowana przez UNESCO.
Nazwa przedmiotu: Sztuczne sieci neuronowe
Jednostka: Wydział Fizyki, Astronomii i Informatyki Stosowanej
Grupy: Informatyka Stosowana s2. Przedmioty do wyboru specjalistyczne (wszystkie)
Strona przedmiotu: https://www.fizyka.umk.pl/~grochu/nn
Punkty ECTS i inne: 5.00 Podstawowe informacje o zasadach przyporządkowania punktów ECTS:
  • roczny wymiar godzinowy nakładu pracy studenta konieczny do osiągnięcia zakładanych efektów uczenia się dla danego etapu studiów wynosi 1500-1800 h, co odpowiada 60 ECTS;
  • tygodniowy wymiar godzinowy nakładu pracy studenta wynosi 45 h;
  • 1 punkt ECTS odpowiada 25-30 godzinom pracy studenta potrzebnej do osiągnięcia zakładanych efektów uczenia się;
  • tygodniowy nakład pracy studenta konieczny do osiągnięcia zakładanych efektów uczenia się pozwala uzyskać 1,5 ECTS;
  • nakład pracy potrzebny do zaliczenia przedmiotu, któremu przypisano 3 ECTS, stanowi 10% semestralnego obciążenia studenta.
Język prowadzenia: polski
Wymagania wstępne:

Wykłady i laboratorium powinny być dostępne dla studentów z podstawowym przygotowaniem matematycznym i informatycznym, jakiego oczekujemy na drugim stopniu nauczania.

Rodzaj przedmiotu:

przedmiot obowiązkowy

Całkowity nakład pracy studenta:

Godziny realizowane z udziałem nauczycieli ( 60 godz.):

- udział w wykładach 30 godz.

- udział na laboratoriach 30 godz.


Czas poświęcony na pracę indywidualną studenta (90 godz.):

- przygotowanie do wykładu 10 godz.

- przygotowanie do laboratoriów 20 godz.

- przygotowanie do egzaminu 30 godz.

- przygotowanie projektów zaliczeniowych 30 godz.


Łącznie: 150 godz. (5 ECTS)

Efekty uczenia się - wiedza:

W1. posiada wiedzę na temat inspiracji neurobiologicznych algorytmów sztucznych sieci neuronowych, modeli neuronów, wiedzę teoretyczną i praktyczną w zakresie podstawowych typów sieci neuronowych, jak i ich rozlicznych zastosowań (realizuje efekt kierunkowy K_W01 dla kierunku Informatyka Stosowana drugiego stopnia)


W2. ma wiedzę na temat projektowania podstawowych algorytmów sztucznych sieci neuronowych (realizuje efekt kierunkowy K_W02 dla kierunku Informatyka Stosowana drugiego stopni)


W3. posiada szczegółową wiedzę związaną ze specjalnością informatyka stosowana (realizuje efekty kierunkowe K_W01, K_W05 dla kierunku Informatyka Stosowana drugiego stopni)


Efekty uczenia się - umiejętności:

U1- potrafi zrozumieć do jakich zadań i w jakich warunkach można zastosować modele sztucznych sieci neuronowych i ocenić, czego się można po nich spodziewać (realizuje efekty kierunkowe K_U01, K_U04 dla kierunku Informatyka Stosowana drugiego stopni).


U2- potrafi wykorzystać nabytą wiedzę matematyczną do opisu modeli sieci neuronowych, zapisu algorytmów, wykorzystać ogólną wiedzę matematyczną do formułowania i rozwiązania problemów, wykorzystując istniejące programy i pisząc własne dla sieci neuronowych różnych typów (realizuje efekty kierunkowe K_U01, K_U04 dla kierunku Informatyka Stosowana drugiego stopni).


U3 - potrafi wykorzystać nabytą wiedzę do analizy danych z zastosowaniem modeli sieci neuronowych w różnych dziedzinach (realizuje efekt kierunkowy K_U04 dla kierunku Informatyka Stosowana drugiego stopni).


U4 - potrafi pozyskiwać informacje z literatury, repozytoriów programów i baz danych oraz innych źródeł, w celu rozwiązywania zadań za pomocą programów typu sieci neuronowych i danych do analizy pobranych z repozytoriów bądź programów własnoręcznie napisanych i danych zgromadzonych samemu (realizuje efekty kierunkowe K_U01, K_U03 dla kierunku Informatyka Stosowana drugiego stopni)


Efekty uczenia się - kompetencje społeczne:

K1 - potrafi samodzielnie zdobywać i doskonalić wiedzę oraz

umiejętności profesjonalne wykorzystując sieci neuronowe do kreatywnego rozwiązywania problemów (realizuje efekt kierunkowy K_K01 dla kierunku Informatyka Stosowana drugiego stopni)


K2 - może podjąć pracę wymagającą umiejętności w zakresie analizy danych za pomocą sieci neuronowych w środowiskach krajowych i międzynarodowych, w szczególności europejskich przedsiębiorstw i instytucji (realizuje efekty kierunkowe K_K04, K_K06 dla kierunku Informatyka Stosowana drugiego stopni)


Metody dydaktyczne:

Metody dydaktyczne podające:

- wykład informacyjny (konwencjonalny)

- wykład problemowy

Metody dydaktyczne podające:

- wykład informacyjny (konwencjonalny)
- wykład problemowy

Skrócony opis:

Wykład "Sieci neuronowe" omawia kluczowe zagadnienia związane z algorytmami powstałymi na skutek inspiracji neurobiologicznych. Obejmuje podstawowe wiadomości na temat neurobiologii, omawia najprostsze modele rozproszonego przetwarzania informacji, różne wczesne pomysły układów uczących się, szczegółowo omawia perceptrony wielowarstwowe, liczne warianty algorytmów uczących takie układy, oraz wybrane zastosowania, sieci wykorzystujące radialne funkcje bazowe, oraz sieci dynamiczne i samoorganizujące. Wykład porusza też tematykę głębokich sieci neuronowych.

Pełny opis:

1. Inspiracje Biologiczne: sieci neuronowe, podstawowe pojęcia

Inspiracje biologiczne: rys historyczny; cele modelowania; ogólne własności modeli neuronowych; inteligentne zachowania sieci

Rodzaje uczenia: uczenie nadzorowane, nienadzorowane i uczenie z krytykiem

Główne aspekty modeli neuronowych

Model neuronu McCulloch-Pitts'a

2. Perceptrony i reguły uczenia

Perceptron Rosenblatta

Perceptron prosty (binarny) i problem klasyfikacji 2 klasowej, separowalnośc liniowa

Reguły uczenia: reguła perceptronowa, Widrowa-Hoffa, reguła delta

Algorytmy uczenia perceptronu, algorytm kieszonkowy, algorytm kieszonkowy z zapadką

Funkcje aktywacji neuronu: binarna, liniowa, sigmoidalna, tanh, ReLU

Uczenie metodą największego spadku gradientu

Klasyfikacja wieloklasowa, Adeline, maszyna liniowa

3. MLP - perceptrony wielowarstwowe.

Wsteczna propagacja błędów: uogólniona reguła delta, minimalizacja błędów

Własności wielowarstwowych perceptronów

Funkcje kosztu MSE i Cross Entropy

Dobór architektury MLP i funkcji kosztu do typowych zadań

4. Ulepszenia wstecznej propagacji błędów.

Procedury minimalizacji błędu

Lokalne minima, funkcje kosztu, inicjalizacja parametrów

Algorytmy optymalizacji: Quickprop, RPROP, metoda Newtona, algorytm Levenberg-Marquardta, gradientów sprzężonych

5. Generalizacja i regularuzacja treningu MLP

Generalizacja, ewaluacja treningu, przeuczenie i niedouczenie modelu

Zbiór walidacyjny i metoda wczesnego zatrzymania

Regularyzacja L2, L1

Dobór liczby neuronów sieci

6. Radialne Funkcje Bazowe i algorytmy aproksymacyjne.

Teoria RBF,

MLP i RBF jako uniwersalny aproksymator

Reularyzacja RBF

Inicjalizacja i adaptacja centrów i rozmyć funkcji radialnych

7. Samoorganizacja - uczenie konkurencyjne

Samoorganizujące się odwzorowanie topologiczne Kohonena

Uczenie konkurencyjne: WTA Zwycięzca bierze wszystko, WTM, LVQ - wektorowa kwantyzacja

Gaz Neuronowy, Growing Cell Structures, Growing Neural Gas

SOM i MDS: skalowanie wielowymiarowe, mapy semantyczne

8. Sieci samoorganizujące się typu Hebba, reguła Hebba

Reguła Hebba i rekuła Oji

PCA

Uogólniony algorytm hebbowski

Uczenie anty-hebbowskie

APEX

9. Sieci dynamiczne.

Model Hopfielda. Sieci ze sprzężeniami zwrotnymi.

Maszyny Boltzmana i sieci stochastyczne, RBM

Zastosowania w modelowaniu pamięci autoasocjacyjnej i optymalizacji

10. Głebokie uczenie i głebokie modele neuronowe

Modele hierarchiczne i uczenie się reprezentacji wiedzy

Głębokie vs. “płytkie” modele, dlaczego głębokość ma znaczenie?

Problemy uczenia głębokich sieci: niestabilny gradient, przeuczenie, koszt pamięci (ilość parametrów uczenia), koszt czasu treningu (duże dane)

Głębokie sieci MLP (DNN) i ich zastosowania

Sieci z jednostkami ReLU , modyfikacje ReLU (PReLU, ELU, ReLU6), Maxout - przykłady zastosowań

Algorytm uczenia SGD z momentem Nesterova, AdaGrad, RMSProp, Adam, AdaDelta

11. Sieci splotowe (konwolucyjne)

Splot 1D, 2D, 3D, mapy cech, pola recepcyjne

Sieci splotowe i ich zastosowania do analizy obrazów

Metody stosowane w uczniu głębokim: Batch Normalization, Dropout, połączenia skrótowe, zwielokrotnianie danych weksciowych, splot filtrem 1×1, itp.

Architektury : LeNet-5, AlexNet, GoogleNet/Inception, VGG Net, ResNet

12. Sieci rekurencyjne i modelowanie sekwencji

Modelowanie sekwencji za pomocą sieci jednokierunkowych oraz rekurencyjnych

Jednostki Long-Short Term Memory (LSTM), Gate Recurrent Unit (GRU), inne odmiany LSTMa

Algorytm wstecznej propagacji w czasie (BPTT)

Modele z atencją, modele encoder-decoder (seq2seq)

Rozpoznawanie mowy (ASR), neuronowe modele akustyczne

Funkcja kosztu CTC

13. Ucznie reprezentacji, autoenkodery i modele generatywne

Autoenkodery i kodowanie sygnału

Autokoendery odszumiające i VAE

Deep Belief Networks (DBNs)

Sieci typu GAN

Literatura:

Literatura podstawowa:

- Stanisław Osowski, Sieci neuronowe w ujęciu algorytmicznym, Wydawnictwa Naukowo-Techniczne, 1996

- J. Żurada, M. Barski, W. Jędruch, Sztuczne sieci neuronowe, Wydawnictwo Naukowe PWN, 1996

- I. Goodfwllow, Y. Bengio, A. Courville, Deep Learning, MIT Press, 2016

URL: https://www.deeplearningbook.org/

- A. Zhang, Zack C. Lipton, Mu Li, Alex J. Smola, Dive into Deep Learning, 2023,

URL: https://d2l.ai/

Metody i kryteria oceniania:

Metody oceniania:

Wykład: egzamin w formie testu weryfikujące efekty kształcenia W1, W2, U1, U2, U3, U4, K1, K2

Laboratorium: ocena na podstawie zadań realizowanych na zajęciach i projektów zaliczeniowych weryfikujących efekty kształcenia W1, W2, U1-U4, K1, K2

Kryteria oceniania:

Wykład: zaliczenie odbędzie się na podstawie egzaminu w formie testu, oceny wyznaczone według przelicznika:

51-60% - ocena: 3

61-70% - ocena: 3+

71-80% - ocena: 4

81-90% - ocena: 4+

91-100% - ocena 5

Laboratorium: zaliczenie na podstawie zadań realizowanych na laboratoriach oraz oceny projektów zaliczeniowych wg. przelicznika:

51-60% - ocena: 3

61-70% - ocena: 3+

71-80% - ocena: 4

81-90% - ocena: 4+

91-100% - ocena 5

Zajęcia w cyklu "Semestr letni 2021/22" (zakończony)

Okres: 2022-02-21 - 2022-09-30
Wybrany podział planu:
Przejdź do planu
Typ zajęć:
Laboratorium, 30 godzin więcej informacji
Wykład, 30 godzin więcej informacji
Koordynatorzy: Marek Grochowski
Prowadzący grup: Krzysztof Dobosz, Marek Grochowski
Lista studentów: (nie masz dostępu)
Zaliczenie: Przedmiot - Egzamin
Laboratorium - Zaliczenie na ocenę
Wykład - Egzamin

Zajęcia w cyklu "Semestr letni 2022/23" (zakończony)

Okres: 2023-02-20 - 2023-09-30
Wybrany podział planu:
Przejdź do planu
Typ zajęć:
Laboratorium, 30 godzin więcej informacji
Wykład, 30 godzin więcej informacji
Koordynatorzy: Marek Grochowski
Prowadzący grup: Marek Grochowski
Lista studentów: (nie masz dostępu)
Zaliczenie: Przedmiot - Egzamin
Laboratorium - Zaliczenie na ocenę
Wykład - Egzamin

Zajęcia w cyklu "Semestr letni 2023/24" (w trakcie)

Okres: 2024-02-20 - 2024-09-30
Wybrany podział planu:
Przejdź do planu
Typ zajęć:
Laboratorium, 30 godzin więcej informacji
Wykład, 30 godzin więcej informacji
Koordynatorzy: Marek Grochowski
Prowadzący grup: (brak danych)
Lista studentów: (nie masz dostępu)
Zaliczenie: Przedmiot - Egzamin
Laboratorium - Zaliczenie na ocenę
Wykład - Egzamin
Opisy przedmiotów w USOS i USOSweb są chronione prawem autorskim.
Właścicielem praw autorskich jest Uniwersytet Mikołaja Kopernika w Toruniu.
ul. Jurija Gagarina 11, 87-100 Toruń tel: +48 56 611-40-10 https://usosweb.umk.pl/ kontakt deklaracja dostępności USOSweb 7.0.2.0-1 (2024-03-12)