АвтоАвтоматизацияАрхитектураАстрономияАудитБиологияБухгалтерияВоенное делоГенетикаГеографияГеологияГосударствоДомДругоеЖурналистика и СМИИзобретательствоИностранные языкиИнформатикаИскусствоИсторияКомпьютерыКулинарияКультураЛексикологияЛитератураЛогикаМаркетингМатематикаМашиностроениеМедицинаМенеджментМеталлы и СваркаМеханикаМузыкаНаселениеОбразованиеОхрана безопасности жизниОхрана ТрудаПедагогикаПолитикаПравоПриборостроениеПрограммированиеПроизводствоПромышленностьПсихологияРадиоРегилияСвязьСоциологияСпортСтандартизацияСтроительствоТехнологииТорговляТуризмФизикаФизиологияФилософияФинансыХимияХозяйствоЦеннообразованиеЧерчениеЭкологияЭконометрикаЭкономикаЭлектроникаЮриспунденкция

Кодирование текстовых данных

Читайте также:
  1. Access. Базы данных. Определение ключей и составление запросов.
  2. Decide which answer А, В, С or D best fits each space. Подумайте, какие из предложенных ответов лучше подходят для данных выражений.
  3. Decide which answer А, В, С or D best fits each space. Подумайте, какие из предложенных ответов лучше подходят для данных выражений.
  4. I. Разработка структуры базы данных.
  5. I.5.3. Подготовка данных для задачи линейного программирования
  6. I.5.7. Mодификация (изменение) данных задачи
  7. III. Векторное произведение векторов, заданных координатами
  8. ODBC - открытый интерфейс к базам данных на платформе Microsoft Windows — до 15 мин.
  9. Абстрактные структуры данных
  10. Автоматизация обработки кадастровых данных
  11. Автоматизированная система обработки данных правовой статистики
  12. Авторское право - правовое положение авторов и созданных их творческим трудом произведений литературы, науки и искусства.

Если каждому символу алфавита сопоставить определенное целое число (например, порядковый номер), то с помощью двоичного кода можно кодировать и текстовую информацию. Восьми двоичных разрядов достаточно для кодирования 256 различных символов. Этого хватит, чтобы выразить различными комбинациями восьми битов все символы английского и русского языков, как строчные, так и прописные, а также знаки препинания, символы основных арифметических действий и некоторые обще­принятые специальные символы, например символ «§».

Технически это выглядит очень просто, однако всегда существовали достаточно веские организационные сложности. В первые годы развития вычислительной тех­ники они были связаны с отсутствием необходимых стандартов, а в настоящее время вызваны, наоборот, изобилием одновременно действующих и противоречивых стандар­тов. Для того чтобы весь мир одинаково кодировал текстовые данные, нужны единые таблицы кодирования, а это пока невозможно из-за противоречий между символами национальных алфавитов, а также противоречий корпоративного характера.

Для английского языка, захватившего де-факто нишу международного средства общения, противоречия уже снять!. Институт стандартизации США (ANSI—American National Standard Institute) ввел в действие систему кодирования ASCII (American Standard Code for Information Interchange — стандартный код информационного обмена США), В системе ASCII закреплены две таблицы кодирования — базовая л расширенная. Базовая таблица закрепляет значения кодов от 0 до 127, а расширенная относится к символам с номерами от 128 до 255.

Первые 32 кода базовой таблицы, начиная с нулевого, отданы производителям аппаратных средств (в первую очередь производителям компьютеров и печатаю­щих устройств). В этой области размещаются так называемые управляющие коды, которым не соответствуют никакие символы языков, и, соответственно, эти коды не выводятся ни на экран, ни на устройства печати, но ими можно управлять тем, как производится вывод прочих данных.

Начиная с кода 32 по код 127 размещены коды символов английского алфавита, знаков препинания, цифр, арифметических действий и некоторых вспомогательных символов. Базовая таблица кодировки ASCII приведена в таблице 1.1.

Аналогичные системы кодирования текстовых данных были разработаны и в других странах. Так, например, в СССР в этой области действовала система кодирования КОИ-7 (код обмена информацией, семизначный). Однако поддержка производителей оборудования и программ вывела американский код ASCII на уровень междуна­родного стандарта, и национальным системам кодирования пришлось «отступить» во вторую, расширенную часть системы кодирования, определяющую значения кодов со 128 по 255. Отсутствие единого стандарта в этой области привело к множествен­ности одновременно действующих кодировок. Только в России можно указать три действующих стандарта кодировкой еще два устаревших.

Так, например, кодировка символов русского языка, известная как кодировка Windows-1251, была введена «извне» — компанией Microsoft, но, учитывая широкое распространение операционных систем и других продуктов этой компании в России, она глубоко закрепилась и нашла широкое распространение (таблица 1.2). Эта кодировка используется на большинстве локальных компьютеров, работающих на платформе Windows.

Другая распространенная кодировка носит название КОИ-8 (код обмена информа­цией, восьмизначный) — ее происхождение относится ко временам действия Совета Экономической Взаимопомощи государств Восточной Европы (таблица1.3). Сегодня кодировка КОИ-8 имеет широкое распространение в компьютерных сетях на терри­тории России и в российском секторе Интернета.

Международный стандарт, в котором предусмотрена кодировка символов русского алфавита, носит название кодировки ISO (International Standard Organization — Между­народный институт стандартизации). На практике данная кодировка использу­ется редко (таблица 1.4).

Таблица 1.1. Базовая таблица кодировки ASCII

32 пробел 48 0 64 @ 80 Р   112 p
33! 49 1 65 А 81 Q 97 а 113 q
34 ~ 50 2 66 В 82 R 98 b 114 r
35 # 51 3 67 С 83 S 99 с 115 s
36 $ 52 4 68 D 84 Т 100 d 116 t
37 % 53 5 69 Е 85 U 101 е 117 u
38 & 54 6 70 F 86 V 102 f 118 v
39 ‘ 55 7 71 G 87 W 103 g 119 w
40 ( 56 8 72 Н 88 X 104 h 120 x
41) 57 9 73 I 89 Y 105 i 121 у
42 * 58: 74 J 90 Z 106 j 122 z
43 + 59; 75 К 91 [ 107 k 123 {
44, 60 < 76 L 92 \ 108 I 124 |
45 -   77 М 93 ] 109 m 125 }
46. 62 > 78 N   110 n  
47 / 63? 79 О   111 0  

Таблица 1.2. Кодировка Windows 1251

128 Ъ 144 T)   176 ' 192 A 208 Р 224 а 240 р
129 Г 145 ' 161 У 177 ± 193 Б 209 С 225 б 241 с
130, 146 ' 162 9 178 I 194 В 210 Т 226 в 242 т
131 f- 147 " 163 J 179 i 195 Г 211 У 227 г 243 у
132 „ 148 " 164 И 180 f 196 Д 212 Ф 228 д 244 ф
133... 149 • 165 Г 181 ц 197 Е 213 X 229 е 245 х
134 f 150 - 166 | 182 1| 198 Ж 214 Ц 230 ж 246 ц
135 t 151 - 167 § 183 • 199 3 215 Ч 231 з 247 ч
136 ' 152 ' 168 Ё 184 ё 200 И 216 Ш 232 и 248 ш
137 %o 153 ™ 169 © 185 № 201 И 217 Щ 233 и 249 щ
138 /b 154 л. 170 6 186 е 202 К 218 Ъ 234 к 250 ъ
139 < 155 > 171 « 187» 203 Л 219 Ы 235 л 251 ы
140 hb 156 нь 172 - 188 j 204 М 220 Ь 236 м 252 ь
141 £ 157 k 173 - 189 S 205 Н 221 Э 237 н 253 Э
142 T. 158 ft 174 ® 190 s 206 О 222 Ю 238 о 254 ю
143 g 159 g 175 T 191 I 207 П 223 Я 239 п 255 я

Таблица 1.3. Кодировка КОИ-8

  144 HI 160 - 176 Ь 192 ю 208 п 224 Ю 240 П
129 | 145 | 161 Ё 177 h 193 а 209 я 225 А 241 Я
130 г 146 1 162 г 178 Н 194 б 210 р 226 Б 242 Р
131 т 147 г 163 ё 179 Ё 195 ц 211 с 227 Ц 243 С
132 L 148 • 164 г 180 i 196 д 212 т 228 Д 244 Т
133 J 149 • 165 г 181 ^ 197 е 213 у 229 Е 245 У
134 h 150 V 166 ч 182 т 198 ф 214 ж 230 Ф 246 Ж
135 Н 151 « 167 п 183 т 199 г 215 в 231 Г 247 В
136 т 152 < 168 т 184 т 200 х 216 ь 232 X 248 Ь
137 -l 153 > 169 l 185 -1- 201 и 217 ы 233 И 249 Ы
138 +   170 L 186 J- 202 и 218 з 234 И 250 3
139 • 155 J 171 l 187 i 203 к 219 ш 235 К 251 Ш
140 • 156 ' 172 J 188 + 204 л 220 э 236 Л 252 Э
141 | 157 2 173 J 189 + 205 м 221 щ 237 М 253 Щ
142 | 158 • 174 J 190 + 206 н 222 ч 238 Н 254 Ч
143 | 159 * 175 h 191 ё 207 о 223 ъ 239 О 255 Ъ

Таблица 1.4. Кодировка ISO

      176 А 192 Р 208 а 224 р 240 №
    161 Ё 177 Б 193 С 209 б 225 С 241 ё
    162 Ъ 178 В 194 Т 210 в 226 т 242 Т)
    163 Г 179 Г 195 У 211 г 227 у 243 г
    164 е 180 Д 196 Ф 212 д 228 ф 244 е
    165 S 181 Е 197 X 213 е 229 х 245 s
    166 I 182 Ж 198 Ц 214 ж 230 ц 246 i
В ISO не определены 167 Т 183 3 199 Ч 215 з 231 ч 247 Т
    168 J 184 И 200 Ш 216 и 232 ш 248 j
    169 Лэ 185 И 201 Щ 217 и 233 щ 249 ть
    170 ЬЬ 186 К 202 Ъ 218 к 234 ъ 250 нь
    171 Ъ 187 Л 203 Ы 219 л 235 ы 251 Г)
    172 К 188 М 204 Ь 220 м 236 ь 252 k
    173 - 189 Н 205 Э 221 н 237 э 253 §
    174 У 190 0 206 Ю 222 о 238 ю 254 у
    175 У 191 П 207 Я 223 п 239 я 255 у
  Таблица 1.5. ГОСТ-альтернативая кодировка  
128 А 144 Р 160 а 176 Ш 192 l 208 J- 224 р 240 Ё
129 Б 145 С 161 б 177 i 193 Г 209 т 225 С 241 ё
130 В 146 Т 162 в 178 i 194 т 210 т 226 т 242 6
131 Г 147 У 163 г   195 h 211 L 227 у 243 е
132 Д 148 Ф 164 д 180 Н 196 - 212 i- 228 ф 244 Т
133 Е 149 X 165 е 181 ^ 197 + 213 г 229 х 245 Т
134 Ж 150 Ц 166 ж 182 Н 198 h 214 г 230 ц 246 У
135 3 151 Ч 167 з 183 т 199 h 215 + 231 ч 247 у
136 И 152 Ш 168 и 184 п 200 L 216 + 232 ш 248 '
137 И 153 Щ 169 и 185 -\ 201 г 217 J 233 щ 249 •
138 К 154 Ъ 170 к 186 | 202 •>• 218 г 234 ъ 250 •
139 Л 155 Ы 171 л 187 т 203 т 219 I 235 ы 251 V
140 М 156 Ь 172 м 188 J 204 Н 220 • 236 ь 252 №
141 Н 157 Э 173 н 189 J 205 - 221 | 237 э 253 П
142 О 158 Ю 174 о 190 J 206 + 222 | 238 ю 254 •
143 П 159 Я 175 п 191 i 207 -L 223 • 239 я  
                             

На компьютерах, работающих в операционных системах MS-DOS, могут действовать еще две кодировки (кодировка ГОСТ и кодировка ГОСТ-альтернативная). Первая из них считалась устаревшей даже в первые годы появления персональной вычисли­тельной техники, но вторая используется и по сей день (см. таблицу 1.5).

В связи с изобилием систем кодирования текстовых данных, действующих в России, возникает задача межсистемного преобразования данных — это одна из распростра­ненных задач информатики.


1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 | 31 | 32 | 33 | 34 | 35 | 36 | 37 | 38 | 39 | 40 | 41 | 42 | 43 | 44 | 45 | 46 | 47 |

Поиск по сайту:

Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Студалл.Орг (0.003 сек.)