Radim Belohlavek
home | curriculum vitae | publications | teaching | miscellanea

stránky předmětu KMI/TINF - Teorie informace a kódování - ZS 2024/2025
základní informace | popis předmětu | poznámky k přednáškám

základní informace

předmět KMI/TINF - Teorie informace a kódování - ZS 2024/2025
vyučující přednášející: Radim Bělohlávek, http://belohlavek.inf.upol.cz/
cvičící: Radim Bělohlávek
čas a místo čtvrtek 14:00 - 16:30, LP-1036
studijní materiály
slajdy a další materiály: Budou umísťovány na této stránce.
doporučená literatura: Viz popis předmětu.
absolvování předmětu Zápočet: Podmínky budou zveřejněny.
Zkouška: Ústní v termínech vypsaných v systému STAG. Před zahájením zkoušky musí mít student zápočet.
Student obdrží otázky a bude mít cca 20 min na přípravu (tužka a papír). Pak půjde k ústnímu zkoušení (cca 25 min).
Je třeba znát látku v rozsahu probíraném na přednáškách a cvičeních.

popis předmětu

Viz informace o předmětu v systému STAG. Obsahuje základní informace o předmětu včetně následujících:

poznámky k přednáškám

Budou doplňovány během semestru.
Přednášet budu podle slajdů, které zde budu zveřejňovat.
3. 10. 2024
10. 10. 2024
17. 10. 2024
24. 10. 2024
  • Další klasifikační metody. Problém přeučení..
  • Přiklady k entropii a podmíněné entropii. Vzájemná informace.
  • Vzájemná informace.
  • Slajdy str. 47-50, 52-54.
31. 10. 2024
7. 11. 2024
21. 11. 2024
  • Kraftova a MacMillanova nerovnost. Shannonova věta o dolní mezi střední délky kódového slova; optimální a absolutně optimální kódy. Slajdy (klikni zde), str. 14-29.
24. 11. 2024
  • Témata zápočtových prací. Student přednese referát v délce 30 minut (slajdy nebo na tabuli), nebo vypracuje písemný referát o délce cca 6 stran. Pro výběr tématu mě kontaktujte emailem a uveďte tři témata seřazená sestupně podle své preference.
  • Pojem asymptotic equipartition property a jeho pouziti. Zdroj: kniha Cover & Thomas: Information Theory.
  • Data-processing inequality. Zdroj: kniha Cover & Thomas: Information Theory.
  • Ruzne pristupy ke konstrukci delicich atributu pri konstrukci rozhodovaciho stromu (zejm. information gain). Zdroj: Internet.
  • Implementace algoritmu pro konstrukci rozhodovaciho stromu z prednasek. Experimenty s realnymi daty (student vybere tabulku dat, program sestroji rozhodovaci strom, student strom okomentuje).
  • Implementace algoritmu pro konstrukci rozhodovaciho stromu z prednasek. Experimenty s variantou algoritmu, ktera je tolerantni vuci chybam (algoritmus zastaví, když p procent řádků v daném uzlu má stejný class label).
  • Huffmanovo kodovani nad kodovou abecedou obsahujici d znaku. Zdroj: Internet.
  • Axiomatizace pojmu entropie (dukaz jednoznacnosti). Zdroj: kniha Ash: Information Theory, kap. 1.2.
  • Test jednoznačné dekódovatelnosti a důkaz správnosti. Zdroj: kniha Ash: Information Theory, kap. 2.2.
  • Pojem partition entropy. Zdroj: clanky Dana Simovici.
  • Betweenness, metrics and entropy in lattices. Zdroj: clanky Dana Simovici.
  • Student si vybere jeden z mnoha alternativních přístupů k pojmu informace a vypracuje o něm referát (např. semantic information, information flow, Shannon-like entropy založená na jiných teoriích než je klasická teorie pravděpodobnosti) Zdroj: Internet, popř. poskytnu.
28. 11. 2024
  • Vlastnosti optimálních kódů, Huffmanovo Kraftova a MacMillanova nerovnost. Shannonova věta o dolní mezi střední délky kódového slova; optimální a absolutně optimální kódy. Slajdy (klikni zde), str. 30-38.
  • Výběr zápočtových prací.
5. 12. 2024
12. 12. 2024
  • Prezentace zápočtových prací.
19. 12. 2024



home | curriculum vitae | publications | teaching | miscellanea

Last update Dec 19, 2024. Copyright © Radim Belohlavek.