Algorytmy skalowane
Informacje ogólne
Kod przedmiotu: | 1000-MS1-AlgSkal |
Kod Erasmus / ISCED: |
(brak danych)
/
(0613) Tworzenie i analiza oprogramowania i aplikacji
|
Nazwa przedmiotu: | Algorytmy skalowane |
Jednostka: | Wydział Matematyki i Informatyki |
Grupy: | |
Punkty ECTS i inne: |
3.00
|
Język prowadzenia: | polski |
Rodzaj przedmiotu: | przedmiot obowiązkowy |
Całkowity nakład pracy studenta: | Godziny realizowane z udziałem nauczycieli: 40h (w tym 10h konsultacji) Czas poświęcony na pracę indywidualną studenta: 30h Czas wymagany do przygotowania się do uczestnictwa w procesie oceniania: 10h Razem: 80h (3p. ECTS) |
Efekty uczenia się - wiedza: | W1. zna zaawansowane metody projektowania i analizowania algorytmów i programów równoległych i rozproszonych; zna wybrane modele programowania skalowalnego (np. Map-Reduce) -K_W04, K_W06 W2. ma podstawową wiedzę o metodach, narzędziach i technikach badawczych w zakresie Big Data i wizualizacji informacji - K_W05, K_W06 W3. zna na poziomie podstawowym przynajmniej jedną platformę do obliczeń skalowalnych - K_W05, K_W06 |
Efekty uczenia się - umiejętności: | U1. projektuje i analizuje algorytmy rozproszone w oparciu o model Map-Reduce; potrafi uzasadnić ich poprawność i przeanalizować złożoność - K_U17 U2. umie znajdować niezbędne informacje w literaturze fachowej, bazach danych i innych źródłach, zna podstawowe czasopisma i konferencje naukowe w swojej specjalności - K_U21 U3. potrafi wykorzystać przynajmniej jedną platformę implementującą algorytmy skalowalne do analizy dużych repozytoriów danych (Big Data) - K_U01, K_U17, K_U19 U4. potrafi opisywać algorytmy i struktury danych w sposób zrozumiały dla nie-informatyków - K_U04 |
Efekty uczenia się - kompetencje społeczne: | 1. Myśli twórczo w celu udoskonalenia istniejących bądź stworzenia nowych rozwiązań. - K_K01 2. Zna ograniczenia własnej wiedzy i rozumie potrzebę dalszego kształcenia - K_K04 3. Potrafi samodzielnie wyszukiwać informacje w literaturze, także w językach obcych; umie zintegrować zdobytą wiedzę i umiejętności; - K_K04 4. rozumie znaczenie matematyki i informatyki w różnych sferach życia i gospodarki - K_K05 |
Metody dydaktyczne podające: | - wykład konwersatoryjny |
Metody dydaktyczne poszukujące: | - giełda pomysłów |
Skrócony opis: |
Przedstawiony zostanie model obliczeniowy MapReduce oraz algorytmy rozwiązujące konkretne problemy obliczeniowe. Omówiony zostanie problem analizy dużych repozytoriów danych (tzw. Big Data). Zaprezentowana zostanie przynajmniej jedna platforma wykorzystywana do obliczeń skalowalnych (np. Apache Spark, Hadoop) |
Pełny opis: |
Teoria informatyki obejmuje wiedzę o algorytmach rozwiązujących problemy o dowolnej złożoności obliczeniowej i przy dowolnych poziome równoległości. Praktyczna implementacja tych algorytmów napotykała przez wiele lat trudności, wydawałoby się, nie do pokonania. Zmiana tego stanu rzeczy dokonała się w 2004 wraz z opublikowanie informacji o modelu obliczeniowym Map-Reduce i jego praktycznej implementacji. Rok 2010 to pierwsza publikacja o Pregelu, tj. modelu i implementacji obliczeń na ogromnych grafach. Choć oba te modele są dość proste i można by rzec, że znane w literaturze, jednak ich przełomowość wynika, z tego, że udało się je zaimplementować w wielkiej skali, tj, na danych o wielkości rzędu 10^12 rekordów/obiektów i na tysiącach komputerów. Do tej pory, teoretycy potrafili zbudować algorytm na dowolnego n, ale praktycy potrafili je zaimplementować jedynie dla n nie większego niż 10^9. Map-Reduce i Pregel przesuwają te granicę o kilka rzędów wielkości. Celem zajęć jest przedstawienie wybranych zagadnień przetwarzania danych z wykorzystaniem algorytmów skalowalnych we wspomnianych modelach oraz projektów Big Data. Przedstawione zostaną najnowsze wyniki badań nad wspomnianymi modelami oraz nad analizą dużych repozytoriów danych W ramach laboratorium studenci pod kierownictwem prowadzącego zajęcia przeprowadzą eksperymenty na wybranej platformie obliczeń skalowalnych. Zaimplementują wybrane algorytmy Map-Reduce w celu przeprowadzenia kontrolowanej analizy wskazanego dużego repozytorium danych |
Literatura: |
[1] N. Marz, "Big data : najlepsze praktyki budowy skalowalnych systemów obsługi danych w czasie rzeczywistym", Helion, 2016. [2] H. Lee, "Big Data w przemyśle : jak wykorzystać analizę danych do optymalizacji kosztów procesów?", Wydawnictwo Naukowe PWN SA, 2016. [3] S. Ryza, "Spark : zaawansowana analiza danych", Helion/ O'Reilly, 2016. [4] H. Karau, "Poznajemy Sparka", Wydawnictwo Naukowe PWN, 2016. Literatura uzupełniająca: [5] J. Dean, S. Ghemawat "MapReduce: simplified data processing on large clusters". OSDI 2004, Vol. 6. USENIX Association, Berkeley, USA, 2004, p10-10. [6] G. Malewicz, M. H. Austern, A. J.C Bik, J. C. Dehnert, I. Horn, N. Leiser, G. Czajkowski. "Pregel: a system for large-scale graph processing". SIGMOD 2010. ACM, NY, USA, 2010 p.135-146. [7] Y. Tao, W. Lin, X. Xiao. "Minimal MapReduce algorithms." ACM SIGMOD '13. ACM, NY, USA, 2013, p529-540. [8] K. Czaplicki i in., "Internet : publiczne bazy danych i Big data", Wydawnictwo C.H. Beck, 2014. |
Metody i kryteria oceniania: |
Zaliczenie wykładu odbywa się na podstawie 2-3 projektów zaliczeniowych wykonywanych częściowo na laboratoriach i częściowo samodzielnie. |
Praktyki zawodowe: |
nie dotyczy |
Zajęcia w cyklu "Semestr letni 2021/22" (zakończony)
Okres: | 2022-02-21 - 2022-09-30 |
Przejdź do planu
PN WYK
WT ŚR CZ PT |
Typ zajęć: |
Wykład, 30 godzin, 50 miejsc
|
|
Koordynatorzy: | Piotr Wiśniewski | |
Prowadzący grup: | Piotr Wiśniewski | |
Lista studentów: | (nie masz dostępu) | |
Zaliczenie: |
Przedmiot -
Zaliczenie na ocenę
Wykład - Zaliczenie na ocenę |
Zajęcia w cyklu "Semestr letni 2022/23" (zakończony)
Okres: | 2023-02-20 - 2023-09-30 |
Przejdź do planu
PN WYK
WT ŚR CZ PT |
Typ zajęć: |
Wykład, 30 godzin, 50 miejsc
|
|
Koordynatorzy: | Grzegorz Pastuszak | |
Prowadzący grup: | Grzegorz Pastuszak | |
Lista studentów: | (nie masz dostępu) | |
Zaliczenie: |
Przedmiot -
Zaliczenie na ocenę
Wykład - Zaliczenie na ocenę |
Zajęcia w cyklu "Semestr letni 2023/24" (w trakcie)
Okres: | 2024-02-20 - 2024-09-30 |
Przejdź do planu
PN WT ŚR CZ PT WYK
|
Typ zajęć: |
Wykład, 30 godzin, 50 miejsc
|
|
Koordynatorzy: | Grzegorz Pastuszak | |
Prowadzący grup: | Grzegorz Pastuszak | |
Lista studentów: | (nie masz dostępu) | |
Zaliczenie: |
Przedmiot -
Zaliczenie na ocenę
Wykład - Zaliczenie na ocenę |
Właścicielem praw autorskich jest Uniwersytet Mikołaja Kopernika w Toruniu.