 |
АвтоАвтоматизацияАрхитектураАстрономияАудитБиологияБухгалтерияВоенное делоГенетикаГеографияГеологияГосударствоДомДругоеЖурналистика и СМИИзобретательствоИностранные языкиИнформатикаИскусствоИсторияКомпьютерыКулинарияКультураЛексикологияЛитератураЛогикаМаркетингМатематикаМашиностроениеМедицинаМенеджментМеталлы и СваркаМеханикаМузыкаНаселениеОбразованиеОхрана безопасности жизниОхрана ТрудаПедагогикаПолитикаПравоПриборостроениеПрограммированиеПроизводствоПромышленностьПсихологияРадиоРегилияСвязьСоциологияСпортСтандартизацияСтроительствоТехнологииТорговляТуризмФизикаФизиологияФилософияФинансыХимияХозяйствоЦеннообразованиеЧерчениеЭкологияЭконометрикаЭкономикаЭлектроникаЮриспунденкция
Amount of information
|
Читайте также: |
The amount of information can be quantified for example in terms, not only of how many characters are observed but also how meaningful each character is. The three following signals have the same number of characters, but clearly convey different amounts of information:
“1 0 0 1 1 0 0 0 1 1 0 0 ……”
“a g u r j e r h j j k l ……”
“t h i s m e s s a g e …..”
One such measure of information is the Shannon information content:
where base ‘2’ corresponds to the two possible states of information: 0 or 1 in the first example of ‘bits’ such as when describing attribute sampling acceptable or rejectableentity [Schneider et al 1986]. According to Shannon, information conveyed by each character increases when the average probability 
of a character appearing decreases – i.e. there is more information in the ‘rarer’ events – surprisal. The amount of information of a series of characters observed is then the arithmetic sum of each term (thanks to the log term).
Поиск по сайту: