Количество и качество информации

Страница 2

Тезаурус каждого человека характеризует способность этого человека воспринимать те или иные сообщения. Ценность получаемой приемником (человеком) информации можно характеризовать степенью изменения индивидуального тезауруса под воздействием воспринимаемого сообщения.

Необходимость определения количества информации в сообщении с помощью численных единиц была связана с попыткой ученых разработать принципы передачи информации по каналам связи, дать оценку пропускной способности канала связи, разработать способы наилучшего кодирования информации, найти предельные соотношения для количества информации, которое может быть передано по каналу связи в единицу времени. Эти принципиальные вопросы составили начало нового научного направления - теории информации, возникшего в середине прошлого столетия благодаря в основном работам американского инженера и математика Клода Шеннона и советских ученых А.Н. Колмогорова, А.А. Харкевича, В.А. Котельникова.

Теория информации - это наука о методах наиболее рациональной (оптимальной) передачи информации по каналам связи в условиях помех. Она имеет самое тесное отношение к информатике.

Итак, попытаемся понять суть подхода к оценке количества информации некоторого источника сообщений (объект, событие, процесс). Прежде всего, необходимо отвлечься от конкретного содержания того события, о котором сообщается, т.е. от семантики сообщения. (Действительно, для канала связи совершенно неважно, какой смысл несет сообщение, важно, сколько символов нужно передать) Любое событие или объект в каждый момент времени может находиться в одном из большого числа возможных состояний, и описание события есть не что иное, как указание на то, в каком из возможных состояний он находится. Протекание события во времени есть смена этих состояний, выбранных из числа возможных.

Число возможных состояний создает неопределенность, и чем больше неопределенность выбора, тем больше информации можно получить, как результат выбора имеет большую степень неожиданности. Таким образом, информация в отвлеченном виде, без конкретного смысла сообщения, есть просто выбор некоторого определенного элемента из множества возможных.

Если множество вариантов выбора или неопределенность сделать минимальной, то это будет выбор альтернативы из двух возможных событий. Его вполне естественно принять за единицу количества информации. Эта единица называется "двоичной единицей", или "битом". Один бит - это количество информации, содержащееся в источнике с неопределенностью в два равновероятных события. Если выбор производится из числа событии щих два, всякое сужение неопределенности вдвое дает одну единицу информации.

Интересно, что это выражение для количества информации источника совпадает по форме и содержанию с выражением для энтропии в статистической физике.

Понятие энтропии было введено Клаузиусом в 1850 г. в связи со вторым законом термодинамики и означало меру беспорядка. Неупорядоченность можно интерпретировать как неизвестность системы для наблюдателя, т.е. насколько мало известно наблюдателю о данной системе. Как только наблюдатель выявил что-нибудь в физической системе, так энтропия системы снизилась, ибо для наблюдателя система стала более упорядоченной. Энтропия является количественной мерой неопределенности или же представляет количество информации, необходимое для устранения имеющейся неопределенности. Энтропию можно назвать мерой "априорного незнания".

Иными словами, энтропия есть количественная мера недостатка информации о системе. Энтропия и информация имеют противоположные знаки, т.е. энтропия системы выражает степень ее неупорядоченности, а информация о ней дает человеку меру организации системы.

Страницы: 1 2 

Новые статьи:

Блоки Дьенеша
Одним из наиболее эффективных пособий являются логические блоки, разработанные венгерским психологом и математиком Дьенешем для ранней логической пропедевтики, и, прежде всего, для подготовки мышления детей к усвоению математики. В методической и научно-популярной литературе этот материал можно вст ...

Понятие и сущность здорового образа жизни
Под образом жизни большинством людей понимается устойчивый, сложившийся в определенных общественно-экологических условиях способ жизнедеятельности человека, проявляющийся в нормах общения, поведения, складе мышления. По мнению Э.Н.Вайнера, понятие образа жизни следовало бы определить как способ жиз ...

Игры со словом и рифмой
Все мы прекрасно знаем, что игра – это основной вид деятельности детей дошкольного возраста, метод ребёнка в познании мира. Во время игры ребёнок учится общаться со сверстниками, подчиняться правилам, уступать, доказывать своё право в выборе игры. Причины, которые побуждают ребёнка играть, - это, п ...

Разделы

Copyright © 2020 - All Rights Reserved - www.detailededu.ru