Измерение информации

Реферат на тему: . Объемный и вероятностный подход. Выполнил: ученик 10а класса Школы №52 Ибрагимов Орхан. Содержание. Введение………………………………………….3 Вероятностный подход………………………….4 Таблица. Частотность букв русского языка…… 5 Объемный подход……………………………….6 Список используемой литературы……………..7 Введение. Определить понятие «количество информации» довольно сложно. В решении этой проблемы существуют два основных подхода. Исторически они возникли почти одновременно. В конце 40-х годов XX века один из основоположников кибернетики американский математик Клод Шеннон развил вероятностный подход к измерению количества информации, а работы по созданию ЭВМ привели к «объемному» подходу. Вероятностный подходРассмотрим в качестве примера опыт, связанный с бросанием правильной игральной .кости, имеющей N граней (наиболее распространенным является случай шестигранной кости: N = 6). Результаты данного опыта могут быть следующие: выпадение грани с одним из следующих знаков: 1,2,… N. Введем в рассмотрение численную величину, измеряющую неопределенность -энтропию (обозначим ее Н). Величины N и Н связаны между собой некоторой функциональной зависимостью: H = f (N), (1.1)а сама функция f является возрастающей, неотрицательной и определенной (в рассматриваемом нами примере) для N = 1, 2,… 6. Рассмотрим процедуру бросания кости более подробно: 1) готовимся бросить кость; исход опыта неизвестен, т.е. имеется некоторая неопределенность; обозначим ее H1; 2) кость брошена; информация об исходе данного опыта получена; обозначим количество этой информации через I; 3) обозначим неопределенность данного опыта после его осуществления через H2. За количество информации, которое получено в ходе осуществления опыта, примем разность неопределенностей «до» и «после» опыта: I = H1 – H2 (1.2)Очевидно, что в случае, когда получен конкретный результат, имевшаяся неопределенность снята (Н2 = 0), и, таким образом, количество полученной информации совпадает с первоначальной энтропией. Иначе говоря, неопределенность, заключенная в опыте, совпадает с информацией об исходе этого опыта. Заметим, что значение Н2 могло быть и не равным нулю, например, в случае, когда в ходе опыта следующей выпала грань со значением, большим «З». Следующим важным моментом является определение вида функции f в формуле (1.1). Если варьировать число граней N и число бросаний кости (обозначим эту величину через М), общее число исходов (векторов длины М, состоящих из знаков 1,2,…. N) будет равно N в степени М: X=NM. (1.3)Так, в случае двух бросаний кости с шестью гранями имеем: Х = 62 = 36. Фактически каждый исход Х есть некоторая пара (X1, X2), где X1 и X2 – соответственно исходы первого и второго бросаний (общее число таких пар – X). Таблица 1.3. Частотность букв русского языка i Символ Р(i) i Символ P(i) i Символ Р(i) 1 Пробел 0,175 13 0,028 24 Г 0.012 2 0 0,090 14 М 0,026 25 Ч 0,012 3 Е 0,072 15 Д 0,025 26 И 0,010 4 Ё 0,072 16 П 0,023 27 X 0,009 5 А 0,062 17 У 0,021 28 Ж 0,007 6 И 0,062 18 Я 0,018 29 Ю 0,006 7 Т 0,053 19 Ы 0,016 30 Ш 0.006 8 Н 0,053 20 З 0.016 31 Ц 0,004 9 С 0,045 21 Ь 0,014 32 Щ 0,003 10 Р 0,040 22 Ъ 0,014 33 Э 0,003 11 В 0,038 23 Б 0,014 34 Ф 0,002 12 Л 0,035 Объемный подход В двоичной системе счисления знаки 0 и 1 будем называть битами (от английского выражения Binary digiTs – двоичные цифры). Отметим, что создатели компьютеров отдают предпочтение именно двоичной системе счисления потому, что в техническом устройстве наиболее просто реализовать два противоположных физических состояния: некоторый физический элемент, имеющий два различных состояния: намагниченность в двух противоположных направлениях; прибор, пропускающий или нет электрический ток; конденсатор, заряженный или незаряженный и т.п. В компьютере бит является наименьшей возможной единицей информации. Объем информации, записанной двоичными знаками в памяти компьютера или на внешнем носителе информации, подсчитывается просто по количеству требуемых для такой записи двоичных символов. При этом, в частности, невозможно нецелое число битов (в отличие от вероятностного подхода). Для удобства использования введены и более крупные, чем бит, единицы количества информации. Так, двоичное слово из восьми знаков содержит один, байтинформации, 1024 байта образуют килобайт (кбайт), 1024 килобайта – мегабайт (Мбайт), а 1024 мегабайта – гигабайт (Гбайт). Между вероятностным и объемным количеством информации соотношение неоднозначное. Далеко не всякий текст, записанный двоичными символами, допускает измерение объема информации в кибернетическом смысле, но заведомо допускает его в объемном. Далее, если некоторое сообщение допускает измеримость количества информации в обоих смыслах, то они не обязательно совпадают, при этом кибернетическое количество информации не может быть больше объемного. В дальнейшем тексте данного учебника практически всегда количество информации понимается в объемном смысле.Список используемой литературы.Учебник Информатики и ИКТ 10-11 класс ( И.Г.Семакин, Е.К.Хеннер) Сайт http://www.sitereferatov.ru