ТЕОРІЯ КОДУВАННЯ ШЕНОНА

У 1936 році випускник американського університету Клод Шеннон, якому було тоді 21 рік, зумів ліквідувати провалля між алгебраїчною теорією логіки і її практичним застосуванням

Свої ідеї відносно зв’язку між двійковим численням, булевою алгеброю і електричними схемами Шеннон розвинув в докторській дисертації, опублікованій в 1938 році.

Всесвітню популярність Шеннону приніс фундаментальний труд – “Математична теорія зв’язку”, який він видав в 1948 році, працюючи в лабораторіях компанії Bell, в якій він трудився з 1941 по 1972 рік. У його роботах були закладені основи теорії інформації, а також був розроблений математичний апарат для досліджень в багатьох областях науки, пов’язаних з інформацією.

Шеннон був також основоположником теорії кодування. На основі його теорій, побудована робота всіх сьогоднішніх систем зв’язку.

Теорія кодування інформації є одним з розділів теоретичної інформатики. До основних задач, вирішуваних в даному розділі, необхідно віднести наступні:

  • розробка принципів найекономічнішого кодування інформації;
  • узгодження параметрів інформації що передається з особливостями каналу зв’язку;
  • розробка прийомів, що забезпечують надійність передачі інформації по каналах зв’язку, тобто відсутність втрат інформації.

Дві останні задачі пов’язано з процесами передачі інформації. Перша ж задача – кодування інформації – торкається не тільки передачі, але і обробки, і зберігання інформації, тобто охоплює широкий круг проблем; частковим їх рішенням буде представлення інформації в комп’ютері.

На цьому міцному фундаменті математичного визначення інформації Шеннон побудував свою теорію пропускної спроможності каналів зв’язку. В своїх роботах 1957-61 років він остаточно і повно формулює свою теорему, названу згодом основною теоремою кодування Шеннона, що є фундаментальним положенням Теорії інформації.

Перша теорема Шеннона про передачу інформації, яка називається також основною теоремою про кодування за відсутності перешкод, формулюється таким чином:

За відсутності перешкод передачі завжди можливий такий варіант кодування повідомлення, при якому надмірність коду буде наскільки завгодно близькою до нуля.

завантаження...
WordPress: 22.72MB | MySQL:26 | 0,489sec