Вопрос о минимальной единице измерения количества информации — это вопрос о сущности информации самой по себе. Рассмотрение этого вопроса требует обращения к истории и пониманию развития науки и технологий в 20 веке, а именно к исследованиям в области информатики и теории информации.
Количеству информации можно приписать два аспекта: семантический и шкалирующий. С позиции семантики, информация — это знания, передаваемые субъектом коммуникации объекту коммуникации, а шкалирующий аспект определяется количественным измерением информации, выражаемым в битах.
Корни теории информации приводят нас к Клоду Шеннону, американскому математику и инженеру, который в 1948 году опубликовал работу «Математическая теория связи». В этой работе он установил основные теоретические принципы для измерения количества информации.
Шеннон разработал понятие «бит» в качестве минимальной единицы измерения количества информации. Бит — это аббревиатура от английского binary digit, что можно перевести как «двоичная цифра». Бит может принимать два возможных значения — 0 или 1, что говорит о состоянии информации: присутствие или отсутствие.
Однако, прежде чем определить бит как минимальную единицу измерения информации, Шеннон обратился к понятию вероятности. Он использовал теорию вероятности для измерения степени неопределенности или неожиданности информации. Если событие вероятное, то информация, передаваемая этим событием, будет меньше, так как она уже ожидается. Чем более необычное событие, тем больше информации оно несет.
Таким образом, Шеннон определил бит как количество информации, необходимое для выбора из двух возможных состояний с равной вероятностью. Например, бросок монеты может быть выражен в одном бите, так как есть только два возможных и равновероятных исхода — орел или решка.
Шеннон также разработал понятие энтропии для измерения количества информации в целом. Энтропия позволяет оценить уровень неопределенности системы. Чем больше неопределенность, тем больше информации нужно для ее описания.
Таким образом, бит можно рассматривать как минимальную единицу измерения количества информации с позиции теории информации. Шеннон определил бит через понятие вероятности, где его использовал для измерения степени неопределенности или неожиданности информации.
Следует отметить, что теория информации Шеннона имеет свои ограничения и не учитывает семантический аспект информации. У Шеннона был другой интерес — измерение степени неопределенности или неожиданности информации, но не ее смыслового контента. Семантическая составляющая информации — это отдельный исследовательский вопрос, который требует более глубокого анализа.
Таким образом, установление бита как минимальной единицы измерения количества информации связано с развитием теории информации в 20 веке. Работа Клода Шеннона дала импульс развитию информатики и теории информации, и его идеи по-прежнему являются основой для изучения количества информации и передачи данных в современной науке.