ТЕОРИЯ ИНФОРМАЦИИ

ТЕОРИЯ ИНФОРМАЦИИ — раздел математики, посвященный вопросам оценки количества информации, способам ее кодирования и передачи. Т. и. часто рассматривают как часть кибернетики (см.), однако она имеет и самостоятельное значение для областей, не связанных с процессами управления (напр., биологии, медицины, психологии, искусства, обучения).

В основе Т. и. лежит определенный способ измерения количества информации, содержащейся в каких-либо данных (сообщениях). Источником данных, или сообщений, могут быть слова какого-либо языка, результаты измерений, мед. документация и т. д. Достижения в области Т. и. нашли применение при создании алгоритмов переработки информации (см.Алгоритм), различных автоматизированных систем управления (см.), информационно-поисковых систем (см.) и т. Д.

Теоретические основы Т. и. заложены в 1948 —1949 гг. амер. ученым Шенноном <К. Shannon), к-рый предложил статистическую меру количества информации и доказал ряд теорем, связанных с вопросами передачи информации. В качестве источника информации рассматривается объект, к-рый в течение определенного интервала времени (такта передачи) с нек-рой вероятностью может находиться в одном из N возможных состояний. Состояние источника информации в виде сигналов поступает по каналу связи к приемнику информации. Если все состояния источника информации равновероятны и текущее состояние не зависит от предыдущих состояний, количество (I) передаваемой за один такт информации (измеряется в двоичных единицах информации — битах) максимально и вычисляется по формуле: I = log2N.

Если источник имеет два возможных и равновероятных состояния (N — 2), за один такт передается одна единица информации — 1 бит. С ростом числа состояний растет количество передаваемой информации.

Информацию об одном из двух возможных состояний источника (N—2) можно передать с помощью одного двоичного символа (0 или 1), что соответствует передаче 1 бита информации (единица информации). Используя комбинации из двоичных символов (00, 01, 10 и 11), можно передать информацию об источнике с четырьмя возможными состояниями. В общем случае для передачи информации об источнике с 2n состояниями достаточно п двоичных символов. Логарифмическая мера информации обладает свойством аддитивности, т. е. количество информации, получаемое от двух независимых источников информации, равно сумме количеств информации, получаемых от каждого из источников.

Широко используется статистическая мера информации, основанная на том, что менее вероятные (т. е. более неожиданные) сообщения несут больше информации, чем более вероятные (менее неожиданные). Количество информации, содержащееся в сообщении о том, что источник находится в i-м состоянии, вычисляется по формуле:

Ii = log21/Pi = -log2Pi, где Pi — априорная вероятность того, что источник находится в i-м состоянии.

Нервный импульс), изучении механизмов передачи наследуемых признаков (см.Генетический код,Наследственность), анализе механизмов восприятия образов (см.Распознавание образов) и др. Методы и достижения Т. и. находят также большое применение в психологии, социологии, педагогике и других областях человеческого знания.

Библиогр.: Голдман С. Теория информации, пер. с англ., М., 1957; Коган И. М. Прикладная теория информации, М., 1981, библиогр.; Серавин Л. Н. Теория информации с точки зрения биолога, Л., 1973; Теория информации в биологии, пер. с англ., под ред. Л. А. Блюменфельда, М., 1960; Урсул А. Д. Информация, М., 1971, библиогр.; Шеннон К. Э. Работы по теории информации и кибернетике, пер. с англ., М., 1963; Шрейдер Ю. А. Об одной модели семантической теории информации, в кн.: Пробл. кибернетики, под ред. А. А. Ляпунова, в. 13, с. 233, М., 1965.

^


Источник: Большая Медицинская Энциклопедия (БМЭ), под редакцией Петровского Б.В., 3-е издание

X
X
X
X