Количество и качество информации

Тезаурус каждого человека характеризует способность этого человека воспринимать те или иные сообщения. Ценность получаемой приемником (человеком) информации можно характеризовать степенью изменения индивидуального тезауруса под воздействием воспринимаемого сообщения.

Необходимость определения количества информации в сообщении с помощью численных единиц была связана с попыткой ученых разработать принципы передачи информации по каналам связи, дать оценку пропускной способности канала связи, разработать способы наилучшего кодирования информации, найти предельные соотношения для количества информации, которое может быть передано по каналу связи в единицу времени. Эти принципиальные вопросы составили начало нового научного направления - теории информации, возникшего в середине прошлого столетия благодаря в основном работам американского инженера и математика Клода Шеннона и советских ученых А.Н. Колмогорова, А.А. Харкевича, В.А. Котельникова.

Теория информации - это наука о методах наиболее рациональной (оптимальной) передачи информации по каналам связи в условиях помех. Она имеет самое тесное отношение к информатике.

Итак, попытаемся понять суть подхода к оценке количества информации некоторого источника сообщений (объект, событие, процесс). Прежде всего, необходимо отвлечься от конкретного содержания того события, о котором сообщается, т.е. от семантики сообщения. (Действительно, для канала связи совершенно неважно, какой смысл несет сообщение, важно, сколько символов нужно передать) Любое событие или объект в каждый момент времени может находиться в одном из большого числа возможных состояний, и описание события есть не что иное, как указание на то, в каком из возможных состояний он находится. Протекание события во времени есть смена этих состояний, выбранных из числа возможных.

Число возможных состояний создает неопределенность, и чем больше неопределенность выбора, тем больше информации можно получить, как результат выбора имеет большую степень неожиданности. Таким образом, информация в отвлеченном виде, без конкретного смысла сообщения, есть просто выбор некоторого определенного элемента из множества возможных.

Если множество вариантов выбора или неопределенность сделать минимальной, то это будет выбор альтернативы из двух возможных событий. Его вполне естественно принять за единицу количества информации. Эта единица называется "двоичной единицей", или "битом". Один бит - это количество информации, содержащееся в источнике с неопределенностью в два равновероятных события. Если выбор производится из числа событии щих два, всякое сужение неопределенности вдвое дает одну единицу информации.

Интересно, что это выражение для количества информации источника совпадает по форме и содержанию с выражением для энтропии в статистической физике.

Понятие энтропии было введено Клаузиусом в 1850 г. в связи со вторым законом термодинамики и означало меру беспорядка. Неупорядоченность можно интерпретировать как неизвестность системы для наблюдателя, т.е. насколько мало известно наблюдателю о данной системе. Как только наблюдатель выявил что-нибудь в физической системе, так энтропия системы снизилась, ибо для наблюдателя система стала более упорядоченной. Энтропия является количественной мерой неопределенности или же представляет количество информации, необходимое для устранения имеющейся неопределенности. Энтропию можно назвать мерой "априорного незнания".

Иными словами, энтропия есть количественная мера недостатка информации о системе. Энтропия и информация имеют противоположные знаки, т.е. энтропия системы выражает степень ее неупорядоченности, а информация о ней дает человеку меру организации системы.

Методика создания воспитательной системы
Создание воспитательной системы начинается с изучения ситуации в школе: интересов, потребностей учащихся и педагогов, творческих возможностей всех субъектов деятельности, уровня развитости педагогического и ученического коллективов, характера их взаимодействия и т.д. Для этого можно использовать вс ...

Сущность понятия «музыкальная выразительность исполнения»
Музыка, как и каждый из видов искусства, имеет свои особенности, свои условности, свои специфические черты. Вместе с тем, музыке неотъемлемо присущи качества, объединяющие ее с другими искусствами; говоря иными словами, музыка подчиняется общим законам искусства. Основным из этих законов является т ...

Комплекс форм, методов и приемов воспитания как условие эффективного освоения воспитанниками содержания воспитания
Метод воспитания в педагогике рассматривается как способ достижения заданной цели на основе организации педагогически целесообразного взаимодействия воспитателя и воспитанника. Метод воспитания (от греческого методос – путь) - это способ реализации целей воспитания. Методы воспитания являются главн ...