Количество и качество информации

Тезаурус каждого человека характеризует способность этого человека воспринимать те или иные сообщения. Ценность получаемой приемником (человеком) информации можно характеризовать степенью изменения индивидуального тезауруса под воздействием воспринимаемого сообщения.

Необходимость определения количества информации в сообщении с помощью численных единиц была связана с попыткой ученых разработать принципы передачи информации по каналам связи, дать оценку пропускной способности канала связи, разработать способы наилучшего кодирования информации, найти предельные соотношения для количества информации, которое может быть передано по каналу связи в единицу времени. Эти принципиальные вопросы составили начало нового научного направления - теории информации, возникшего в середине прошлого столетия благодаря в основном работам американского инженера и математика Клода Шеннона и советских ученых А.Н. Колмогорова, А.А. Харкевича, В.А. Котельникова.

Теория информации - это наука о методах наиболее рациональной (оптимальной) передачи информации по каналам связи в условиях помех. Она имеет самое тесное отношение к информатике.

Итак, попытаемся понять суть подхода к оценке количества информации некоторого источника сообщений (объект, событие, процесс). Прежде всего, необходимо отвлечься от конкретного содержания того события, о котором сообщается, т.е. от семантики сообщения. (Действительно, для канала связи совершенно неважно, какой смысл несет сообщение, важно, сколько символов нужно передать) Любое событие или объект в каждый момент времени может находиться в одном из большого числа возможных состояний, и описание события есть не что иное, как указание на то, в каком из возможных состояний он находится. Протекание события во времени есть смена этих состояний, выбранных из числа возможных.

Число возможных состояний создает неопределенность, и чем больше неопределенность выбора, тем больше информации можно получить, как результат выбора имеет большую степень неожиданности. Таким образом, информация в отвлеченном виде, без конкретного смысла сообщения, есть просто выбор некоторого определенного элемента из множества возможных.

Если множество вариантов выбора или неопределенность сделать минимальной, то это будет выбор альтернативы из двух возможных событий. Его вполне естественно принять за единицу количества информации. Эта единица называется "двоичной единицей", или "битом". Один бит - это количество информации, содержащееся в источнике с неопределенностью в два равновероятных события. Если выбор производится из числа событии щих два, всякое сужение неопределенности вдвое дает одну единицу информации.

Интересно, что это выражение для количества информации источника совпадает по форме и содержанию с выражением для энтропии в статистической физике.

Понятие энтропии было введено Клаузиусом в 1850 г. в связи со вторым законом термодинамики и означало меру беспорядка. Неупорядоченность можно интерпретировать как неизвестность системы для наблюдателя, т.е. насколько мало известно наблюдателю о данной системе. Как только наблюдатель выявил что-нибудь в физической системе, так энтропия системы снизилась, ибо для наблюдателя система стала более упорядоченной. Энтропия является количественной мерой неопределенности или же представляет количество информации, необходимое для устранения имеющейся неопределенности. Энтропию можно назвать мерой "априорного незнания".

Иными словами, энтропия есть количественная мера недостатка информации о системе. Энтропия и информация имеют противоположные знаки, т.е. энтропия системы выражает степень ее неупорядоченности, а информация о ней дает человеку меру организации системы.

Что такое воспитательная система
По мнению Л.Н. Новиковой, большое значение для реализации воспитательной функции учебного заведения имеет развитие воспитательной системы, имеющей достаточно сложную структуру, включающую цели, деятельность которой обеспечивает их реализацию, среду системы и управление [5, 13, 14]. Воспитательный п ...

Проблемы модернизации общего образования и пути их решения
Базовое звено модернизации образования - общеобразовательная школа. Модернизация школы предполагает решение ряда системных задач первостепенной из которых является задача достижения нового, современного качества образования. Однако на пути становления нового качества образования, необходимо разреши ...

Особенности научных исследований в курсе "Агрохимия"
"Агрохимия - наука об оптимизации питания растений, применения удобрений и плодородия почвы с учетом биоклиматического потенциала для получения высокого урожая и качества продукции." (цит. по Минееву, 2006). Агрохимия, как наука занимается разработкой теоретических основ и агротехнических ...