Любое живое существо постоянно передаёт во внешний мир какие-то сигналы, а также получает сигналы из окружающей его среды.

Рис. 19. К. Шеннон

Человеку свойственна непрерывная познавательная деятельность, в течение жизни он постоянно узнаёт что-то новое и что-то в устной или письменной форме сообщает другим людям. Мы постоянно передаём окружающим и получаем от них знаки и сообщения, содержащие сведения о мыслях, чувствах, мнениях или желаниях. Мир этих сообщений и способов их передачи кажется необъятным, не поддающимся никакому строгому формальному описанию, тем более в математической форме.

Тем не менее в первой половине XX в. встал вопрос о необходимости введения количественной характеристики для передаваемых и принимаемых сообщений. Эта количественная характеристика вскоре получила название информация. Официально создателем теории информации считается американский инженер и математик Клод Шеннон (1916–2001), опубликовавший свою работу в этой области в 1948 г., хотя ещё в начале XX в. у него были предшественники (рис. 19). Работая в компании «Белл», Шеннон занимался процессами передачи сообщений, а во время Второй мировой войны много времени уделял процедуре шифрования (рис. 20). Перед исследователями, занимавшимися проблемами связи, стоял вопрос, как передать полезное сообщение с максимальной точностью и минимальными затратами. Для этого требовалось знать, сколько информации попало к потребителю и сколько её потерялось в процессе передачи. Поэтому количество информации необходимо было измерить.

Как можно измерить информацию? Прежде всего, надо уяснить, что информация – это не характеристика сообщения, а характеристика отношения между сообщением и его потребителем. Одно и то же сообщение может содержать огромную информацию для одного потребителя и нулевую – для другого, например для человека, незнакомого с языком, на котором передано это сообщение.

Логично предположить, что количество содержащейся в сообщении информации зависит от того, насколько это сообщение было неожиданным. Ведь если мы заранее знали всё, о чём нам сообщили, то никакой информации нам это сообщение не дало. Но как измерить степень неожиданности строгой количественной мерой? Допустим, получив сообщение, мы не узнали ничего нового. Это означает, что результат был известен нам и до сообщения и мы могли предугадать его с вероятностью, равной единице. Значит, единичной вероятности соответствует нулевая информация. Но если мы не были уверены в правильном ответе на интересующий нас вопрос, мы вместе с точным ответом получаем и какую-то информацию. Определить её количество можно, если представить себе, что такое самый простой вопрос. Очевидно, это такой вопрос, на который можно ответить либо «да», либо «нет».

Рис. 2 0. Лаборатория «Белл» в Мюррей Хилл (Нью-Джерси, США), работая в которой в 1948 г. Клод Шеннон опубликовал статью «A Mathematical Theory of Communication», одну из основополагающих работ по теории информации.

Если мы не имеем заранее никаких предположений, то, независимо от того, каким будет ответ, мы получаем одно и то же количество информации. Это количество представляет собой единицу информации и называется бит.

В том случае, когда ответ нельзя получить сразу, требуется задавать дополнительные вопросы. Самой эффективной для спрашивающего будет такая стратегия, когда он задаёт вопросы с возможными ответами «да» или «нет», причём вероятности получить тот или иной ответ кажутся ему одинаковыми. На этом строится широко известная игра в угадывание известного человека или кого-нибудь из присутствующих. Угадывающий мысленно разбивает ответы на две, как ему кажется, равновероятные части и задаёт вопрос, ответ на который может быть положительным или отрицательным. Каждый раз он получает информацию, равную одному биту. Количество полученной при угадывании информации равно числу вопросов, которые пришлось задать игроку. Искусство угадывания зависит от того, каким образом должен быть поставлен вопрос. Приведём один из возможных примеров такой игры. Допустим, требуется угадать Исаака Ньютона. Можно представить, что игра проходит следующим образом.

1. «Это государственный деятель?» – «Нет!» – 2. «Занимался искусством?» – «Нет!» – 3. «Занимался наукой?» – «Да!» – 4. «Биологией?» – «Нет!» – 5. «Физикой?» – «Да!» (Теперь можно угадывать либо по времени, в котором жил этот учёный, либо по его национальности. Первый вариант представляется более простым, так как большинство известных нам учёных жили либо в XIX, либо в XX в. Поэтому можно поставить следующие вопросы.) – 6. «Живёт в наше время?» – «Нет!» – 7. «Жил в прошлом веке?» – «Нет!» (Значит, он жил либо в XIX в., либо раньше.) – 8. «Жил в девятнадцатом веке?» – «Нет!» (Значит, этот человек либо из Древней Греции, либо из XVI–XVIII вв., уточним.) – 9. «Жил после пятнадцатого века?» – «Да!» (Большинство учёных этого времени жили в Англии, Италии или во Франции, поэтому попробуем угадывать по национальности.) – 10. «Англичанин?» – «Да!» (Повезло! Из всех англичан, занимавшихся в это время наукой, самым известным был Ньютон. Теперь можно попробовать угадать напрямую.) – 11. «Ньютон?» – «Да!!!» Ответ найден. Для этого потребовалось задать одиннадцать вопросов. Значит, мы получили одиннадцать бит информации? Не совсем так. Дело в том, что при таком угадывании многое зависит от интуиции и везения. Если бы мы начали угадывать национальность не с Англии, а сначала поинтересовались бы, не является ли он итальянцем, а потом – французом, нам пришлось бы задать на два вопроса больше. Наоборот, если бы мы не стали уточнять, какой именно наукой занимался учёный, а продолжали бы интересоваться, в какое время он жил, мы могли бы сэкономить два вопроса. Таким образом, оценка полученной информации, равная 11 битам, является очень приблизительной.

Как уже говорилось, количество содержащейся в сообщении информации неодинаково для каждого получателя этого сообщения и зависит от его предварительного знания. Поэтому объективно можно определить только максимальное количество этой информации, предполагая, что получатель заранее не имеет никаких знаний по этому вопросу. Предположим, что нам сказали, что Юпитер является самой большой планетой Солнечной системы. Какая информация содержится в этом сообщении? Для того, кто это знал заранее, – никакой. Для того, кто предполагал, но сомневался, – определённое количество, точно оценить которое трудно. Поэтому вычислим максимальную информацию, которую получает человек, не имеющий никакого понятия о планетах, и знает только их названия и то, что всего их имеется восемь. Сколько вопросов он должен задать, чтобы узнать, какая из этих планет самая большая? Для удобства он располагает все планеты в алфавитном порядке: Венера, Земля, Марс, Меркурий, Нептун, Сатурн, Уран, Юпитер. Можно попробовать, конечно, просто перечислять планеты в этом порядке, но такой способ угадывания будет неудачным потому, что придётся задать семь вопросов и получить на все ответ «нет», пока мы не доберёмся до самой большой, но последней по алфавиту планеты. Поэтому правильнее будет поступить так: разделить все планеты на две равные группы и спросить, принадлежит ли самая большая к одной из них. Поскольку наш персонаж ничего не знает о планетах, кроме их названий, он может спросить: «Буква, с которой начинается название этой планеты, стоит в алфавите до Н?» – и получить отрицательный ответ. Вторым вопросом будет «Находится ли эта буква после С?». Ответом будет «да». Теперь осталось только выяснить, Уран это или Юпитер, с помощью одного вопроса. Таким образом, человеку, абсолютно несведущему в данной области, достаточно задать три вопроса, чтобы получить верный ответ. Следовательно, информация, содержащаяся в сообщении «Юпитер – самая большая планета Солнечной системы», равна 3 битам.

Предположим теперь, что в тексте наугад выбрана одна из 32 букв кириллицы (не будем учитывать «ё»). Как должен поступить человек, не знающий языка, чтобы, действуя наугад, узнать эту букву? Очевидно, он должен сначала выяснить, в какой половине алфавита находится эта буква. Затем он должен разбить эту половину, состоящую из 16 букв, на две восьмёрки и задать соответствующий вопрос. С помощью третьего вопроса он определит четвёрку, с помощью четвёртого – пару букв и, наконец, в результате пятого вопроса он узнает загаданную букву. Следовательно, информация, указывающая на определённую букву тридцатидвухбуквенного алфавита, равна 5 битам.

1. Может ли информация полностью определяться сообщением?

2. В каком случае сообщение не содержит информации?

3. Какое сообщение содержит 1 бит информации?

4. В каком случае и для какого получателя информация, содержащаяся в сообщении, оказывается наибольшей?

5. Где в биологии используется подобное пошаговое (повопросное) движение с двумя возможными вариантами ответов («да»/«нет»)?

Попросите вашего одноклассника загадать кого-нибудь из ваших общих знакомых. Задавая вопросы, на которые он может отвечать «да» или «нет», определите, кого он загадал. Оцените в битах объём полученной вами информации.