Uniwersytet Mikołaja Kopernika w Toruniu - Centralny punkt logowaniaNie jesteś zalogowany | zaloguj się
katalog przedmiotów - pomoc

Teoria informacji

Informacje ogólne

Kod przedmiotu: 1000-I2TIN Kod Erasmus / ISCED: (brak danych) / (0613) Tworzenie i analiza oprogramowania i aplikacji
Nazwa przedmiotu: Teoria informacji
Jednostka: Wydział Matematyki i Informatyki
Grupy: Inf., I st., stacjonarne, 3 rok, przedmioty do wyboru
Inf., II st, stacjonarne, 1 rok, przedmioty do wyboru (podstawowe)
Inf., II st, stacjonarne, 1-2 rok, przedmioty do wyboru (podstawowe)
Inf., II st, stacjonarne, przedmioty do wyboru
Mat. I st., stacjonarne, przedmioty do wyboru (podstawowe)
Mat., sp. zastosowania, II st., stac., przedmioty do wyboru + uzup. stand. kszt.
Wszystkie przedmioty z WMiI
Punkty ECTS i inne: 6.00
zobacz reguły punktacji
Język prowadzenia: polski
Wymagania wstępne:

Student musi wcześniej przejść przez kursu przedmiotów Analiza matematyczna I i II oraz Wstęp do statystycznej analizy danych.

Rodzaj przedmiotu:

przedmiot fakultatywny

Całkowity nakład pracy studenta:

30 godz. – wykład

4 godz. - egzamin

30 godz. - ćwiczenia:

50 godz. - praca własna - bieżące przygotowanie do zajęć, studiowanie literatury,

35 godz. praca własna - przygotowanie do egzaminu.

RAZEM: 149 godz.

6 pkt. ECTS

Efekty uczenia się - wiedza:

Po ukończeniu kursu student:

- ma pogłębioną wiedzę z zakresu teorii informacji niezbędną do studiowania wybranej gałęzi informatyki (K_W02), m.in.. definiuje pojęcie entropii wektora losowego, informacji wzajemnej wektorów losowych i stacjonarnego procesu stochastycznego;

- rozumie rolę i znaczenie formalizmu matematycznego w zagadnieniach kompresji danych (K_W02).

Efekty uczenia się - umiejętności:

Po ukończeniu kursu student:

- potrafi wyrażać pewne problemy kompresji danych w języku matematyki (K_U21) oraz umie obliczać entropię dla procesów Bernoulliego a także procesów Markowa.

Efekty uczenia się - kompetencje społeczne:

Po ukończeniu kursu student:

- pokonywania trudności stojących na drodze do realizacji założonego celu i systematycznej pracy nad wszelkimi projektami, które mają długofalowy charakter (K_K04).

Metody dydaktyczne:

Wykład prowadzony metodą tradycyjną. Wprowadzane pojęcia i fakty ilustrowane przykładami.


Ćwiczenia z bezpośrednim udziałem nauczyciela akademickiego wzbogacone o zestawy zadań do indywidualnego rozwiązania.

Metody dydaktyczne podające:

- wykład informacyjny (konwencjonalny)

Metody dydaktyczne poszukujące:

- ćwiczeniowa
- klasyczna metoda problemowa

Skrócony opis:

Celem zajęć jest zaznajomienie studentów z entropijną teorią procesów stacjonarnych i jej wykorzystanie do matematycznego opisu procesu przekazu informacji, w szczególności do zagadnienia kompresji danych i kodowania sygnału.

Przedmiot przeznaczony jest głównie dla studentów matematyki. Mogą w nim również uczestniczyć studenci informatyki.

Pełny opis:

1. Repetytorium niezbędnych wiadomości z teorii funkcji rzeczywistych i teorii prawdopodobieństwa.

2. Matematyczny model systemu przekazu informacji.

3. Przestrzeń symbolowa, jej struktura topologiczna i probabilistyczna, miary Bernoulliego i miary Markowa.

4. Entropia wektora losowego o rozkładzie dyskretnym, entropia warunkowa i ich podstawowe własności.

5. Informacja wzajemna (bezwarunkowa i warunkowa).

6. Entropia Shannona stacjonarnego procesu o dyskretnej przestrzeni stanów. Entropia procesu Bernoulliego i procesu markowa.

7.Twierdzenie Breimana-McMillana-Shannona.

8. Zastosowanie do kompresji danych.

9. Kanał komunikacyjny i jego przepustowość.

10. Twierdzenia Shannona o kodowaniu kanałów.

Literatura:

Literatura podstawowa:

1. T.M. Cover, J.A. Thomas, Elements of Information Theory, John Wiley & Sons, Inc., New York 1991 .

2. P. Bilingsley, Ergodic Theory and Information, John Wiley & Sons, Inc., New York 1965. 

Literatura uzupełniająca:

1. R.B. Ash, Information Theory, Dover Publications, Inc., New York, 1965. 

Metody i kryteria oceniania:

Zaliczenie wykładu: egzamin ustny. Studenta obowiązuje materiał prezentowany w trakcie wykładu.

Ćwiczenia kończą się zaliczeniem na ocenę. Ocena będzie wystawiana na podstawie sprawdzianu.

Zajęcia w cyklu "Semestr zimowy 2017/18" (zakończony)

Okres: 2017-10-01 - 2018-02-25
Wybrany podział planu:


powiększ
zobacz plan zajęć
Typ zajęć: Ćwiczenia, 30 godzin więcej informacji
Wykład, 30 godzin więcej informacji
Koordynatorzy: Krzysztof Frączek
Prowadzący grup: Przemysław Berk, Krzysztof Frączek
Lista studentów: (nie masz dostępu)
Zaliczenie: Przedmiot - Egzamin
Ćwiczenia - Zaliczenie na ocenę
Wykład - Egzamin

Zajęcia w cyklu "Semestr zimowy 2018/19" (zakończony)

Okres: 2018-10-01 - 2019-02-24
Wybrany podział planu:


powiększ
zobacz plan zajęć
Typ zajęć: Ćwiczenia, 30 godzin, 30 miejsc więcej informacji
Wykład, 30 godzin, 30 miejsc więcej informacji
Koordynatorzy: Krzysztof Frączek
Prowadzący grup: Przemysław Berk, Krzysztof Frączek
Lista studentów: (nie masz dostępu)
Zaliczenie: Przedmiot - Egzamin
Ćwiczenia - Zaliczenie na ocenę
Wykład - Egzamin

Zajęcia w cyklu "Semestr zimowy 2019/20" (zakończony)

Okres: 2019-10-01 - 2020-02-28
Wybrany podział planu:


powiększ
zobacz plan zajęć
Typ zajęć: Ćwiczenia, 30 godzin, 30 miejsc więcej informacji
Wykład, 30 godzin, 30 miejsc więcej informacji
Koordynatorzy: Krzysztof Frączek
Prowadzący grup: Wojciech Bułatek, Krzysztof Frączek
Lista studentów: (nie masz dostępu)
Zaliczenie: Przedmiot - Egzamin
Ćwiczenia - Zaliczenie na ocenę
Wykład - Egzamin

Zajęcia w cyklu "Semestr letni 2020/21" (w trakcie)

Okres: 2021-02-22 - 2021-09-20
Wybrany podział planu:


powiększ
zobacz plan zajęć
Typ zajęć: Ćwiczenia, 30 godzin, 30 miejsc więcej informacji
Wykład, 30 godzin, 30 miejsc więcej informacji
Koordynatorzy: Krzysztof Frączek
Prowadzący grup: Wojciech Bułatek, Krzysztof Frączek
Lista studentów: (nie masz dostępu)
Zaliczenie: Przedmiot - Egzamin
Ćwiczenia - Zaliczenie na ocenę
Wykład - Egzamin

Zajęcia w cyklu "Semestr zimowy 2021/22" (jeszcze nie rozpoczęty)

Okres: 2021-10-01 - 2022-02-20
Wybrany podział planu:


powiększ
zobacz plan zajęć
Typ zajęć: Ćwiczenia, 30 godzin, 30 miejsc więcej informacji
Wykład, 30 godzin, 30 miejsc więcej informacji
Koordynatorzy: Krzysztof Frączek
Prowadzący grup: Wojciech Bułatek, Krzysztof Frączek
Lista studentów: (nie masz dostępu)
Zaliczenie: Przedmiot - Egzamin
Ćwiczenia - Zaliczenie na ocenę
Wykład - Egzamin
Opisy przedmiotów w USOS i USOSweb są chronione prawem autorskim.
Właścicielem praw autorskich jest Uniwersytet Mikołaja Kopernika w Toruniu.