АвтоАвтоматизацияАрхитектураАстрономияАудитБиологияБухгалтерияВоенное делоГенетикаГеографияГеологияГосударствоДомДругоеЖурналистика и СМИИзобретательствоИностранные языкиИнформатикаИскусствоИсторияКомпьютерыКулинарияКультураЛексикологияЛитератураЛогикаМаркетингМатематикаМашиностроениеМедицинаМенеджментМеталлы и СваркаМеханикаМузыкаНаселениеОбразованиеОхрана безопасности жизниОхрана ТрудаПедагогикаПолитикаПравоПриборостроениеПрограммированиеПроизводствоПромышленностьПсихологияРадиоРегилияСвязьСоциологияСпортСтандартизацияСтроительствоТехнологииТорговляТуризмФизикаФизиологияФилософияФинансыХимияХозяйствоЦеннообразованиеЧерчениеЭкологияЭконометрикаЭкономикаЭлектроникаЮриспунденкция

Amount of information

Читайте также:
  1. A) Read the text for obtaining information.
  2. DESCRIPTION OF QUANTITY / UNIT PRICE / AMOUNT.
  3. Gebrauchsinformation
  4. Gebrauchsinformation
  5. Generating Random Information Symbols
  6. II. READING FOR INFORMATION AND ANALYSES
  7. Internet Information Services

The amount of information can be quantified for example in terms, not only of how many characters are observed but also how meaningful each character is. The three following signals have the same number of characters, but clearly convey different amounts of information:

“1 0 0 1 1 0 0 0 1 1 0 0 ……”

“a g u r j e r h j j k l ……”

“t h i s m e s s a g e …..”

One such measure of information is the Shannon information content:

where base ‘2’ corresponds to the two possible states of information: 0 or 1 in the first example of ‘bits’ such as when describing attribute sampling acceptable or rejectableentity [Schneider et al 1986]. According to Shannon, information conveyed by each character increases when the average probability of a character appearing decreases – i.e. there is more information in the ‘rarer’ events – surprisal. The amount of information of a series of characters observed is then the arithmetic sum of each term (thanks to the log term).


1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 | 31 | 32 | 33 | 34 |


При использовании материала, поставите ссылку на Студалл.Орг (0.009 сек.)