Ральф хартли вклад в информатику кратко

Емкость информации, алфавитная мощность. Формула количества информации (формула Хартли)

Алфавитом принято называть совокупность символов, составляющих какой-либо язык. Под этими символами подразумеваются буквенные обозначения, реже знаки, цифровые обозначения, символы пробела и так далее.

Что же такое мощность алфавита? Мощность алфавита это обобщенное совокупность всех символов, в их полном количественном представлении.

Приведем пример, как определить мощность алфавита:

• Алфавит, на основе кириллицы – мощность 33
• Алфавит, на основе латыни – мощность 26
• Алфавит, на основе клавиатуры вычислительной машины – мощность 256 (с учетом всех видов символов)
• Алфавит, на основе двоичного кода – мощность 2

При использовании метода алфавита принято считать, что каждый отдельно взятый символ данных уже подразумевает некоторую емкость данных, находящуюся в зависимости от алфавитной мощности.

Последовательность символов для обозначения текстового сообщения содержит знаков – N. При самом простейшем варианте, когда длина кодировки соответствует всего лишь одному символу, источник посылает один из N вариантов текста, с таким количеством данных, которое будет соответствовать I.

Алфавит, с помощью которого записывается сообщение, состоит из N знаков. В самом простом случае при длине кода сообщения, равной одному знаку, отправитель может послать одно из N возможных сообщений, которое будет нести количество информации, равное I, согласно формуле: . Таким образом, выводится количество информации, формула Хартли.

Данное равенство названо в честь ученого Хартли, создавшего базу для развития теоретических основ учения об информации. В частности его работы отвечают на такие вопросы, как – «как найти мощность алфавита?» и «как обозначается информационный объём в информатике?».

По мнению Хартли: объем данных в тексте может быть подвержен неожиданных воздействиям извне, что взаимосвязано со степенью вероятного получения данных. Если эта степень минимальна, то данные будут малоинформативны и бесполезны для дальнейшей обработки.

Обратите внимание: в формуле Хартли абсолютно пренебрегается наличие неожиданных вводных. Формула Хартли (информатика) действует лишь при одинаковой степени вероятности расстановки знаков, при самодостаточной статистике

К примеру, укажите, как записывается формула Хартли для расчета объема данных в символе двоичного кода:

Таким образом, информационная емкость такого символа будет равняться 1 биту.

Задачи: алфавитный подход к измерению информации (Пример 1)

Определим размер информации одной буквы из алфавита кириллицы (буквы «ё» — не входит в расчет)

Решение задачи:

Предположим, что информация создается поэтапно, с последовательностью в один знак (наподобие создания телеграммы). Пусть каждый отдельно взятый знак предположительно может являться любым алфавитным символом или обозначением. На практике, это не совсем соответствует действительности, но такой подход позволяет упростить решение.

Каждый этап появления знака соответствует теоретически любому символу N. С учетом, ранее изученной формулы Хартли, в каждом символе зашифрован определенный объем информации. Как же найти мощность алфавита в информатике? По искомой формуле символ хранит 1 бит данных:

Объем данных одной отдельно взятой буквы родного алфавита равен 5 битам.

То есть, формула отражает взаимосвязь всех возможных вариантов событийности и объем данных в определяемом тексте. В данной задаче: N – символы изучаемого алфавита, I – объем данных на один символ.

Текст содержит последовательность знаков с определённым объемом данных. Что такое мощность алфавита и как определить объем данных в тексте? По формуле: Ic=K*I, где Ic – объем данных текста, I- объем данных на один символ, К – расчет символов в тексте.

Формула Хартли

Вы знаете, что при выборе из двух возможных вариантов количество полученной информации равно 1 биту. Если количество вариантов N равно 2I, то количество информации при выборе одного из них равно I битов. А как вычислить количество информации, если количество вариантов не равно степени числа 2?

Ответить на этот вопрос стало возможно только после того, как вы изучили логарифмы в курсе математики. Из формулы

N = 2I

сразу следует, что I — это степень, в которую нужно возвести 2, чтобы получить N, т. е. логарифм:

I = log₂ N.

Эта формула называется формулой Хартли в честь американского инженера Ральфа Хартли, который предложил её в 1928 г.

Пусть, например, на лётном поле стоят 10 самолётов (с номерами от 1 до 10) и известно, что один из них летит в Санкт-Петербург.

Сколько информации в сообщении «Самолёт № 2 летит в Санкт-Петербург»? У нас есть 10 вариантов, из которых выбирается один, поэтому по формуле Хартли количество информации равно

I = log₂ 10 ≈ 3,322 бита.

Обратите внимание, что для значений N, которые не равны целой степени числа 2, количество информации в битах — дробное число.

С помощью формулы Хартли можно вычислить теоретическое количество информации в сообщении. Предположим, что алфавит (полный набор допустимых символов) включает 50 символов (в этом случае говорят, что мощность алфавита равна 50). Тогда информация при получении каждого символа составляет

I = log₂ 50 ≈ 5,644 бита.

Если сообщение содержит 100 символов, его общий информационный объём примерно равен

5,644 • 100 = 564,4 бита.

В общем случае объём сообщения длиной L символов, использующего алфавит из N символов, равен I = L • log₂ N.

Такой подход к определению количества информации называют алфавитным. Конечно, на практике невозможно использовать для кодирования символа нецелое число битов, поэтому используют первое целое число, которое больше теоретически рассчитанного значения. Например, при использовании алфавита из 50 символов каждый символ будет закодирован с помощью 6 битов (50 ≤ 26 = 64).

Сколько разных сообщений можно передать, если известен алфавит и длина сообщения? Предположим, что для кодирования сообщения используются 4 буквы, например «А», «Б», «В» и «Г», и сообщение состоит из двух символов. Поскольку каждый символ может быть выбран 4 разными способами, на каждый вариант выбора первого символа есть 4 варианта выбора второго. Поэтому общее число разных двухбуквенных сообщений вычисляется как 4 • 4 = 42 = 16. Если в сообщение добавить ещё один символ, то для каждой из 16 комбинаций первых двух символов третий можно выбрать четырьмя способами, так что число разных трёхсимвольных сообщений равно 4 • 4 • 4 = 43 = 64.

В общем случае, если используется алфавит из N символов, то количество разных возможных сообщений длиной L символов равно Q = NL.

Следующая страница Задачи

Cкачать материалы урока

Публикации

Наверное, неполный.

• Хартли, Р.В.Л., Фрай Т.К., «Бинауральное расположение чистых тонов», Физический обзор, Volume 18, Issue 6, pp 431-442, (декабрь 1921 г.).
• Хартли, Р.В.Л., «Взаимосвязь несущей и боковых полос при радиопередаче», Труды IRE, Том 11, Выпуск 1, стр 34 — 56 (февраль 1923 г.).
• Хартли, Р.В.Л., «Волновой механизм квантовых явлений», Физический обзор, Volume 33, Issue 2, page 289, (1929) (только аннотация)
• Хартли, Р.В.Л., «Колебания в системах с нелинейным реактивным сопротивлением», Технический журнал Bell System, Volume 15, Number 3, pp 424-440, (июль 1936 г.).
• Хартли Р.В.Л., «Возбуждение рамановских спектров с помощью оптических катализаторов», Природа, Volume 139, pg 329 — 329, (20 февраля 1937 г.)
• Хартли Р.В.Л., «Задержка установившегося состояния, связанная с апериодическими сигналами», Технический журнал Bell System, Volume 20, Number 2, pp 222-234, (апрель 1941 г.).
• Хартли Р.В.Л., «Более симметричный анализ Фурье, применяемый к задачам передачи», Труды IRE, Volume 30, Number 2, pp. 144–150 (март 1942 г.).
• Хартли Р.В.Л., «Заметка о применении векторного анализа к волновому уравнению», Журнал Акустического общества Америки, Том 22, Выпуск 4, стр 511, (1950).
• Хартли, Р.В.Л., «Значение неклассической статистики», Наука, Volume 111, Number 2891, pp 574-576, (26 мая 1950 г.)
• Хартли, Р.В.Л., «Материя, способ движения», Технический журнал Bell System, Volume 29, Number 3, pg 350 — 368, (июль 1950).
• Хартли Р.В.Л., «Отражение расходящихся волн гиростатической средой», Технический журнал Bell System, Volume 29, Number 3, pp 369 — 389, (июль 1950),
• Хартли, Р.В.Л., «Новая система логарифмических единиц», Труды IRE, Объем. 43, номер 1, стр. 97, (январь 1955 г.).
• Хартли Р.В.Л., «Новая система логарифмических единиц», Журнал Акустического общества Америки, Том 27, Выпуск 1, стр 174 — 176, (1955)
• Хартли Р.В.Л., «Информационная теория анализа Фурье и волновой механики», 10 августа 1955 г., информация о публикации неизвестна.
• Хартли Р.В.Л., «Масса волновой частицы», 30 июля 1955 г., неопубликованная рукопись, копии доступны в Библиотеке и архивах Нильса Бора, Американский институт физики, Колледж-Парк, Мэриленд.
• Хартли Р.В.Л., «Механизм гравитации», 11 января 1956 г., неопубликованная рукопись; копии доступны в Библиотеке и архивах Нильса Бора, Американского института физики, Колледж-Парк, Мэриленд
• Хартли, Р.В.Л., «Механизм электричества и магнетизма», 14 июня 1956 г., неопубликованная рукопись, копии доступны в Библиотеке и архивах Нильса Бора, Американский институт физики, Колледж-Парк, Мэриленд.
• Хартли Р.В.Л., «Вращательные волны в турбулентной жидкости», Журнал Акустического общества Америки, Том 29, Выпуск 2, стр 195 — 196, (1957)
• Хартли, Р.В.Л., «Механистическая теория внатомной физики», Философия науки, Volume 26, Number 4, pp 295 — 309, (октябрь 1959)

Информационные единицы

Максимум алфавитного размера не имеет никаких ограничений. Но стоит иметь в виду, что существует понятие «достаточности» алфавита; подобный вариант используется для работы на электронно-вычислительных машинах. Алфавитная мощность подобной модели соответствует 256 символам, в том числе содержит латиницу, кириллицу, цифровые обозначения, символы действий в арифметике, препинания.

Учитывая ранее полученный данные, известно, что 256 равно 28, а значит 1 знак такого вида алфавита содержит 8 бит данных. В информатике, это равно 1 байту.

При работе с данным алфавитным видом (ASCII-код) – максимально просто высчитывать количество данных в сообщении. Например, в приведенном примере: 1 знак равен 1 байту данных, что позволяет легко рассчитать общее число знаков (объем информации в виде байтов)

Предположим, что текстовое произведение среднего объема, в распечатке насчитывает около 25 листов (50 страниц). Одна страница имеет 50 строчек, а одна строчка – 60 знаков.

Рассчитаем объем одной страницы:

50*60=3000 байт информации

Рассчитаем объем всех данных произведения:

3000*50=150000 байт

Каждая схема измерения включает единицы и их производные.

При расчете крупных информационных объемов – используются килобиты, мегабиты, гигабиты, килобайты, мегабайты, гигабайты.

Публикации

1. Hartley, R.V.L., «A Wave Mechanism of Quantum Phenomena», Physical Review, Volume 33, Page 289, 1929 (abstract only)
2. Hartley, R.V.L., «Oscillations in Systems with Non-Linear Reactance», The Bell System Technical Journal, Volume 15, Number 3, July 1936, pp 424 – 440
3. Hartley, R.V.L., «A More Symmetrical Fourier Analysis Applied to Transmission Problems,» Proceedings of the IRE 30, pp. 144–150 (1942).
4. Hartley, R.V.L., «A New System of Logarithmic Units», Proceedings of the IRE, January 1955, Vol. 43, No. 1.
5. Hartley, R.V.L., «Information Theory of The Fourier Analysis and Wave Mechanics», August 10, 1955, publication information unknown.
6. Hartley, R.V.L., «The Mechanism of Gravitation», January 11, 1956, publication information unknown.

биография

Хартли родился в Спрусмонт, Невада, и посетил Университет Юты, получив A.B. степень в 1909 году. Он стал Родосский ученый в Сент-Джонс, Оксфордский университет, в 1910 году и получил степень бакалавра искусств. степень в 1912 году и степень бакалавра наук. степень в 1913 году. Он женился на Флоренс Вейл из Бруклин 21 марта 1916 г. У Хартли не было детей.

Он вернулся в Соединенные Штаты и работал в научно-исследовательской лаборатории Western Electric Company. В 1915 году он руководил радиоприемник развитие для Bell System трансатлантический радиотелефон тесты. Для этого он разработал генератор Хартли, а также схему нейтрализации, чтобы устранить пение триода, возникающее из-за внутренней связи. А патент для осциллятора была подана 1 июня 1915 г. и награждена 26 октября 1920 г.

В течение Первая Мировая Война Хартли установил принципы, которые привели к звуковому типу пеленгаторы.

После войны вернулся в Western Electric. Позже он работал в Bell Laboratories. Он провел исследование повторители и передачи голоса и несущей и сформулировал закон, «что общий объем информации, который может быть передан, пропорционален передаваемому частотному диапазону и времени передачи». Его статья 1928 года рассматривается как «самая важная предпосылка» теории информации Шеннона. После 10 лет болезни он вернулся в Bell Labs в 1939 г. консультант.

Несмотря на болезнь в течение большей части 1930-х годов, Хартли сформировал теоретическую и экспериментальную исследовательскую группу в Bell Laboratories, начиная с 1929 года. для исследования нелинейных колебаний и того, что позже стало известно как параметрические усилители. Это исследование было в основном параллельно с работой, проводимой в то же время в Советской России Леонидом Мандельштамом. и в Европе Бальтазаром ван дер Полем. Краткий обзор и обширная библиография были опубликованы Мамфордом в 1960 г.Работа Bell Laboratories велась под руководством Хартли в 1930-х и 1940-х годах Джоном Бертоном и Юджином Петерсоном (которые сами начали исследования нелинейных схем еще в 1917 году). когда они наблюдали необычные характеристики при работе с E.F.W. Alexanderson магнитные модуляторы, ранняя форма магнитный усилитель ). Позже Петерсон получил Джона Мэнлии Харрисон Роу участвовали в этом направлении исследований в 1940-х годах, кульминацией которых стал ныне знаменитый Отношения Мэнли-Роу и несколько работ двух последних авторов на тему параметрических схем в середине 1950-х гг.

В течение Вторая Мировая Война он был особенно вовлечен в сервомеханизм проблемы.

Он ушел из Bell Labs в 1950 году и умер 1 мая 1970 года. Его наследие включает в себя имя Хартли, единица информации, равная одной десятичной цифре, после него.

Публикации

1. Hartley, R.V.L., «Transmission of Information», Bell System Technical Journal, July 1928, pp. 535–563.
2. Hartley, R.V.L., «A Wave Mechanism of Quantum Phenomena», Physical Review, Volume 33, Page 289, 1929 (abstract only)
3. Hartley, R.V.L., «Oscillations in Systems with Non-Linear Reactance», The Bell System Technical Journal, Volume 15, Number 3, July 1936, pp 424 – 440
4. Hartley, R.V.L., «A More Symmetrical Fourier Analysis Applied to Transmission Problems,» Proceedings of the IRE 30, pp. 144–150 (1942).
5. Hartley, R.V.L., «A New System of Logarithmic Units», Proceedings of the IRE, January 1955, Vol. 43, No. 1.
6. Hartley, R.V.L., «Information Theory of The Fourier Analysis and Wave Mechanics», August 10, 1955, publication information unknown.
7. Hartley, R.V.L., «The Mechanism of Gravitation», January 11, 1956, publication information unknown.

Statements

instance of

human

1 reference

imported from Wikimedia project

Russian Wikipedia

image

Hartley ralph-vinton-lyon-001.jpg611 × 896; 76 KB

1 reference

imported from Wikimedia project

Russian Wikipedia

sex or gender

male

1 reference

imported from Wikimedia project

Italian Wikipedia

country of citizenship

United States of America

1 reference

imported from Wikimedia project

German Wikipedia

given name

Ralph

0 references

family name

Hartley

0 references

date of birth

30 November 1888Gregorian

2 references

imported from Wikimedia project

English Wikipedia

stated in

Gran Enciclopèdia Catalana

Gran Enciclopèdia Catalana ID

subject named as

Ralph Vinton Lyon Hartley

place of birth

Sprucemont

1 reference

imported from Wikimedia project

German Wikipedia

date of death

1 May 1970

3 references

imported from Wikimedia project

English Wikipedia

stated in

Gran Enciclopèdia Catalana

Gran Enciclopèdia Catalana ID

subject named as

Ralph Vinton Lyon Hartley

reference URL

retrieved

1 May 2021

stated in

Engineering and Technology History Wiki

place of death

Summit

0 references

New Jersey

1 reference

imported from Wikimedia project

Polish Wikipedia

Wikimedia import URL

occupation

computer scientist

0 references

inventor

1 reference

imported from Wikimedia project

Persian Wikipedia

field of work

electrical engineering

1 reference

imported from Wikimedia project

Russian Wikipedia

employer

University of Nevada, Reno

object named as

University of Nevada

start time

1909

end time

1910

1 reference

stated in

Twenty-third Annual Register of the University of Nevada

Western Electric

start time

1913

end time

1925

0 references

Bell Labs

start time

1925

end time

1950

0 references

educated at

University of Utah

end time

1909

academic degree

Bachelor of Arts

1 reference

stated in

Twenty-third Annual Register of the University of Nevada

St John’s College

end time

1912

academic degree

Bachelor of Arts

1 reference

stated in

Twenty-third Annual Register of the University of Nevada

St John’s College

end time

1913

academic degree

Bachelor of Science

1 reference

stated in

Twenty-third Annual Register of the University of Nevada

archives at

Niels Bohr Library & Archives

object named as

Ralph V. L. Hartley papers, 1920-1970

inventory number

AR 300

3937

described at URL

1 reference

reference URL

award received

IEEE Medal of Honor

point in time

1946

2 references

reference URL

retrieved

1 May 2021

reference URL

retrieved

1 May 2021

Fellow of the American Association for the Advancement of Science

0 references

Rhodes Scholarship

point in time

1910

0 references

Количественная оценка объема информации на основе алфавитного подхода

Метод алфавита подразумевает, что все варианты данных можно обозначить как специальный код из своеобразного количества символов, входящих в алфавит (при этом сам алфавит может быть любым). Средства хранения данных содержат разнообразные конечные последовательности, обладающие всеми признаками информации: хранение, передача, обработка человеком и электронно-вычислительными инструментами (например, компьютеры). Данный метод впервые описан Колмогоровым, где он отметил, что информация, содержащаяся в последовательности символов не связана с информацией непосредственного сообщения, а зависит лишь от самого маленького набора символов, которого хватает для составления кода. Такой способ обеспечивает ситуацию, при которой объем информации оценивается максимально объективно и не находится в зависимости от адресата, ожидающего данные. Информационная составляющая несет смысловую нагрузку только в момент выбора алфавита. Иногда ней можно пренебречь полностью.

Базой для развития данного метода является оценка количества символов в данных. Исходя из этого, можно понять, что смысл имеет лишь общая длина данных, без учета информативной ценности.

Следует учитывать, что длина данных может варьироваться в зависимости от такого фактора как «мощность алфавита». Данные особенности можно понять разобрав любую текстовую информацию. Язык не имеет значения, но проще будет оперировать текстом на родном языке.

Публикации

1. Hartley, R.V.L., «A Wave Mechanism of Quantum Phenomena», Physical Review, Volume 33, Page 289, 1929 (abstract only)
2. Hartley, R.V.L., «Oscillations in Systems with Non-Linear Reactance», The Bell System Technical Journal, Volume 15, Number 3, July 1936, pp 424 – 440
3. Hartley, R.V.L., «A More Symmetrical Fourier Analysis Applied to Transmission Problems,» Proceedings of the IRE 30, pp. 144–150 (1942).
4. Hartley, R.V.L., «A New System of Logarithmic Units», Proceedings of the IRE, January 1955, Vol. 43, No. 1.
5. Hartley, R.V.L., «Information Theory of The Fourier Analysis and Wave Mechanics», August 10, 1955, publication information unknown.
6. Hartley, R.V.L., «The Mechanism of Gravitation», January 11, 1956, publication information unknown.