Uniwersytet Mikołaja Kopernika w Toruniu - Centralny punkt logowania
Strona główna

Teoria informacji

Informacje ogólne

Kod przedmiotu: 1000-I2TIN
Kod Erasmus / ISCED: (brak danych) / (0613) Tworzenie i analiza oprogramowania i aplikacji Kod ISCED - Międzynarodowa Standardowa Klasyfikacja Kształcenia (International Standard Classification of Education) została opracowana przez UNESCO.
Nazwa przedmiotu: Teoria informacji
Jednostka: Wydział Matematyki i Informatyki
Grupy: Inf., I st., stacjonarne, 3 rok, przedmioty do wyboru
Inf., II st, stacjonarne, przedmioty do wyboru
Mat. I st., stacjonarne, przedmioty do wyboru (podstawowe)
Mat., sp. nauczycielskie, II st., stacjonarne, przedmioty do wyboru + uzup. stand. kszt.
Mat., sp. zastosowania, II st., stac., przedmioty do wyboru + uzup. stand. kszt.
Punkty ECTS i inne: 6.00 Podstawowe informacje o zasadach przyporządkowania punktów ECTS:
  • roczny wymiar godzinowy nakładu pracy studenta konieczny do osiągnięcia zakładanych efektów uczenia się dla danego etapu studiów wynosi 1500-1800 h, co odpowiada 60 ECTS;
  • tygodniowy wymiar godzinowy nakładu pracy studenta wynosi 45 h;
  • 1 punkt ECTS odpowiada 25-30 godzinom pracy studenta potrzebnej do osiągnięcia zakładanych efektów uczenia się;
  • tygodniowy nakład pracy studenta konieczny do osiągnięcia zakładanych efektów uczenia się pozwala uzyskać 1,5 ECTS;
  • nakład pracy potrzebny do zaliczenia przedmiotu, któremu przypisano 3 ECTS, stanowi 10% semestralnego obciążenia studenta.

zobacz reguły punktacji
Język prowadzenia: polski
Wymagania wstępne:

Student musi wcześniej przejść przez kursu przedmiotów Analiza matematyczna I i II oraz Wstęp do statystycznej analizy danych.

Rodzaj przedmiotu:

przedmiot fakultatywny

Całkowity nakład pracy studenta:

30 godz. – wykład

4 godz. - egzamin

30 godz. - ćwiczenia:

50 godz. - praca własna - bieżące przygotowanie do zajęć, studiowanie literatury,

35 godz. praca własna - przygotowanie do egzaminu.

RAZEM: 149 godz.

6 pkt. ECTS

Efekty uczenia się - wiedza:

Po ukończeniu kursu student:

- ma pogłębioną wiedzę z zakresu teorii informacji niezbędną do studiowania wybranej gałęzi informatyki (K_W02), m.in.. definiuje pojęcie entropii wektora losowego, informacji wzajemnej wektorów losowych i stacjonarnego procesu stochastycznego;

- rozumie rolę i znaczenie formalizmu matematycznego w zagadnieniach kompresji danych (K_W02).

Efekty uczenia się - umiejętności:

Po ukończeniu kursu student:

- potrafi wyrażać pewne problemy kompresji danych w języku matematyki (K_U21) oraz umie obliczać entropię dla procesów Bernoulliego a także procesów Markowa.

Efekty uczenia się - kompetencje społeczne:

Po ukończeniu kursu student:

- pokonywania trudności stojących na drodze do realizacji założonego celu i systematycznej pracy nad wszelkimi projektami, które mają długofalowy charakter (K_K04).

Metody dydaktyczne:

Wykład prowadzony metodą tradycyjną. Wprowadzane pojęcia i fakty ilustrowane przykładami.


Ćwiczenia z bezpośrednim udziałem nauczyciela akademickiego wzbogacone o zestawy zadań do indywidualnego rozwiązania.

Metody dydaktyczne podające:

- wykład informacyjny (konwencjonalny)

Metody dydaktyczne poszukujące:

- ćwiczeniowa
- klasyczna metoda problemowa

Skrócony opis:

Celem zajęć jest zaznajomienie studentów z entropijną teorią procesów stacjonarnych i jej wykorzystanie do matematycznego opisu procesu przekazu informacji, w szczególności do zagadnienia kompresji danych i kodowania sygnału.

Przedmiot przeznaczony jest głównie dla studentów matematyki. Mogą w nim również uczestniczyć studenci informatyki.

Pełny opis:

1. Repetytorium niezbędnych wiadomości z teorii funkcji rzeczywistych i teorii prawdopodobieństwa.

2. Matematyczny model systemu przekazu informacji.

3. Przestrzeń symbolowa, jej struktura topologiczna i probabilistyczna, miary Bernoulliego i miary Markowa.

4. Entropia wektora losowego o rozkładzie dyskretnym, entropia warunkowa i ich podstawowe własności.

5. Informacja wzajemna (bezwarunkowa i warunkowa).

6. Entropia Shannona stacjonarnego procesu o dyskretnej przestrzeni stanów. Entropia procesu Bernoulliego i procesu markowa.

7.Twierdzenie Breimana-McMillana-Shannona.

8. Zastosowanie do kompresji danych.

9. Kanał komunikacyjny i jego przepustowość.

10. Twierdzenia Shannona o kodowaniu kanałów.

Literatura:

Literatura podstawowa:

1. T.M. Cover, J.A. Thomas, Elements of Information Theory, John Wiley & Sons, Inc., New York 1991 .

2. P. Bilingsley, Ergodic Theory and Information, John Wiley & Sons, Inc., New York 1965. 

Literatura uzupełniająca:

1. R.B. Ash, Information Theory, Dover Publications, Inc., New York, 1965. 

Metody i kryteria oceniania:

Zaliczenie wykładu: egzamin ustny. Studenta obowiązuje materiał prezentowany w trakcie wykładu.

Ćwiczenia kończą się zaliczeniem na ocenę. Ocena będzie wystawiana na podstawie sprawdzianu.

Zajęcia w cyklu "Semestr zimowy 2021/22" (zakończony)

Okres: 2021-10-01 - 2022-02-20
Wybrany podział planu:
Przejdź do planu
Typ zajęć:
Ćwiczenia, 30 godzin, 30 miejsc więcej informacji
Wykład, 30 godzin, 30 miejsc więcej informacji
Koordynatorzy: Krzysztof Frączek
Prowadzący grup: Wojciech Bułatek, Krzysztof Frączek
Lista studentów: (nie masz dostępu)
Zaliczenie: Przedmiot - Egzamin
Ćwiczenia - Zaliczenie na ocenę
Wykład - Egzamin

Zajęcia w cyklu "Semestr zimowy 2022/23" (zakończony)

Okres: 2022-10-01 - 2023-02-19
Wybrany podział planu:
Przejdź do planu
Typ zajęć:
Ćwiczenia, 30 godzin, 30 miejsc więcej informacji
Wykład, 30 godzin, 30 miejsc więcej informacji
Koordynatorzy: Krzysztof Frączek
Prowadzący grup: Przemysław Berk, Krzysztof Frączek
Lista studentów: (nie masz dostępu)
Zaliczenie: Przedmiot - Egzamin
Ćwiczenia - Zaliczenie na ocenę
Wykład - Egzamin

Zajęcia w cyklu "Semestr zimowy 2023/24" (zakończony)

Okres: 2023-10-01 - 2024-02-19
Wybrany podział planu:
Przejdź do planu
Typ zajęć:
Ćwiczenia, 30 godzin, 30 miejsc więcej informacji
Wykład, 30 godzin, 30 miejsc więcej informacji
Koordynatorzy: Krzysztof Frączek
Prowadzący grup: Przemysław Berk, Krzysztof Frączek
Lista studentów: (nie masz dostępu)
Zaliczenie: Przedmiot - Egzamin
Ćwiczenia - Zaliczenie na ocenę
Wykład - Egzamin
Opisy przedmiotów w USOS i USOSweb są chronione prawem autorskim.
Właścicielem praw autorskich jest Uniwersytet Mikołaja Kopernika w Toruniu.
ul. Jurija Gagarina 11, 87-100 Toruń tel: +48 56 611-40-10 https://usosweb.umk.pl/ kontakt deklaracja dostępności USOSweb 7.0.2.0-1 (2024-03-12)