Количество и качество информации

Тезаурус каждого человека характеризует способность этого человека воспринимать те или иные сообщения. Ценность получаемой приемником (человеком) информации можно характеризовать степенью изменения индивидуального тезауруса под воздействием воспринимаемого сообщения.

Необходимость определения количества информации в сообщении с помощью численных единиц была связана с попыткой ученых разработать принципы передачи информации по каналам связи, дать оценку пропускной способности канала связи, разработать способы наилучшего кодирования информации, найти предельные соотношения для количества информации, которое может быть передано по каналу связи в единицу времени. Эти принципиальные вопросы составили начало нового научного направления - теории информации, возникшего в середине прошлого столетия благодаря в основном работам американского инженера и математика Клода Шеннона и советских ученых А.Н. Колмогорова, А.А. Харкевича, В.А. Котельникова.

Теория информации - это наука о методах наиболее рациональной (оптимальной) передачи информации по каналам связи в условиях помех. Она имеет самое тесное отношение к информатике.

Итак, попытаемся понять суть подхода к оценке количества информации некоторого источника сообщений (объект, событие, процесс). Прежде всего, необходимо отвлечься от конкретного содержания того события, о котором сообщается, т.е. от семантики сообщения. (Действительно, для канала связи совершенно неважно, какой смысл несет сообщение, важно, сколько символов нужно передать) Любое событие или объект в каждый момент времени может находиться в одном из большого числа возможных состояний, и описание события есть не что иное, как указание на то, в каком из возможных состояний он находится. Протекание события во времени есть смена этих состояний, выбранных из числа возможных.

Число возможных состояний создает неопределенность, и чем больше неопределенность выбора, тем больше информации можно получить, как результат выбора имеет большую степень неожиданности. Таким образом, информация в отвлеченном виде, без конкретного смысла сообщения, есть просто выбор некоторого определенного элемента из множества возможных.

Если множество вариантов выбора или неопределенность сделать минимальной, то это будет выбор альтернативы из двух возможных событий. Его вполне естественно принять за единицу количества информации. Эта единица называется "двоичной единицей", или "битом". Один бит - это количество информации, содержащееся в источнике с неопределенностью в два равновероятных события. Если выбор производится из числа событии щих два, всякое сужение неопределенности вдвое дает одну единицу информации.

Интересно, что это выражение для количества информации источника совпадает по форме и содержанию с выражением для энтропии в статистической физике.

Понятие энтропии было введено Клаузиусом в 1850 г. в связи со вторым законом термодинамики и означало меру беспорядка. Неупорядоченность можно интерпретировать как неизвестность системы для наблюдателя, т.е. насколько мало известно наблюдателю о данной системе. Как только наблюдатель выявил что-нибудь в физической системе, так энтропия системы снизилась, ибо для наблюдателя система стала более упорядоченной. Энтропия является количественной мерой неопределенности или же представляет количество информации, необходимое для устранения имеющейся неопределенности. Энтропию можно назвать мерой "априорного незнания".

Иными словами, энтропия есть количественная мера недостатка информации о системе. Энтропия и информация имеют противоположные знаки, т.е. энтропия системы выражает степень ее неупорядоченности, а информация о ней дает человеку меру организации системы.

Специфика профориентационной работы с сельскими школьниками на труд в сельском хозяйстве
В настоящее время в сельскохозяйственном производстве насчитывается более 100 рабочих профессий, по которым осуществляется подготовка рабочих в сельских общеобразовательных школах и сельских ПТУ. Профилирующие профессии сельскохозяйственного производства распределяются следующим образом. Основой пр ...

Причины и механизмы заикания
Заикание чаще всего возникает в возрасте от 2 до 5 лет, когда нервная система, слуходвигательные и речевые системы мозга еще не окрепли, поэтому их функция легко нарушается неблагоприятными условиями (чрезмерными или слишком сложными раздражителями), а затем – в 7 лет (поступление в школу). Благопр ...

Современные требования к обеспечению условий внедрения ФГОС
Под организацией введения Стандарта понимается комплекс мероприятий, реализация которых необходима для его введения. Требования к условиям и ресурсному обеспечению реализации основной образовательной программы начального общего образования – один из трех компонентов Федерального государственного об ...