Схема передачи информации по различным техническим каналам. Передача информации

Передача информации происходит от источника к получателю (приемнику) информации. Источником информации может быть все, что угодно: любой объект или явление живой или неживой природы. Процесс передачи информации протекает в некоторой материальной среде, разделяющей источника и получателя информации, которая называется каналом передачи информации. Информация передается через канал в форме некоторой последовательности сигналов, символов, знаков, которые называются сообщением . Получатель информации - это объект, принимающий сообщение, в результате чего происходят определенные изменения его состояния. Все сказанное выше схематически изображено на рисунке.

Передача информации

Человек получает информацию от всего, что его окружает, посредством органов чувств: слуха, зрения, обоняния, осязания, вкуса. Наибольший объем информации человек получает через слух и зрение. На слух воспринимаются звуковые сообщения - акустические сигналы в сплошной среде (чаще всего - в воздухе). Зрение воспринимает световые сигналы, переносящие изображение объектов.

Не всякое сообщение информативно для человека. Например, сообщение на непонятном языке хотя и передается человеку, но не содержит для него информации и не может вызвать адекватных изменений его состояния.

Информационный канал может иметь либо естественную природу (атмосферный воздух, через который переносятся звуковые волны, солнечный свет, отраженный от наблюдаемых объектов), либо быть искусственно созданным. В последнем случае речь идет о технических средствах связи.

Технические системы передачи информации

Первым техническим средством передачи информации на расстояние стал телеграф, изобретенный в 1837 году американцем Сэмюэлем Морзе. В 1876 году американец А.Белл изобретает телефон. На основании открытия немецким физиком Генрихом Герцем электромагнитных волн (1886 г.), А.С. Поповым в России в 1895 году и почти одновременно с ним в 1896 году Г.Маркони в Италии, было изобретено радио. Телевидение и Интернет появились в ХХ веке.

Все перечисленные технические способы информационной связи основаны на передаче на расстояние физического (электрического или электромагнитного) сигнала и подчиняются некоторым общим законам. Исследованием этих законов занимается теория связи , возникшая в 1920-х годах. Математический аппарат теории связи - математическую теорию связи , разработал американский ученый Клод Шеннон.

Клод Элвуд Шеннон (1916–2001), США

Клодом Шенноном была предложена модель процесса передачи информации по техническим каналам связи, представленная схемой.

Техническая система передачи информации

Под кодированием здесь понимается любое преобразование информации, идущей от источника, в форму, пригодную для ее передачи по каналу связи. Декодирование - обратное преобразование сигнальной последовательности .

Работу такой схемы можно пояснить на знакомом всем процессе разговора по телефону. Источником информации является говорящий человек. Кодирующим устройством - микрофон телефонной трубки, с помощью которого звуковые волны (речь) преобразуются в электрические сигналы. Каналом связи является телефонная сеть (провода, коммутаторы телефонных узлов, через которые проходит сигнал). Декодирующим устройством является телефонная трубка (наушник) слушающего человека - приемника информации. Здесь пришедший электрический сигнал превращается в звук.

Современные компьютерные системы передачи информации - компьютерные сети, работают по тому же принципу. Есть процесс кодирования, преобразующий двоичный компьютерный код в физический сигнал того типа, который передается по каналу связи. Декодирование заключается в обратном преобразовании передаваемого сигнала в компьютерный код. Например, при использовании телефонных линий в компьютерных сетях функции кодирования-декодирования выполняет прибор, который называется модемом.

Пропускная способность канала и скорость передачи информации

Разработчикам технических систем передачи информации приходится решать две взаимосвязанные задачи: как обеспечить наибольшую скорость передачи информации и как уменьшить потери информации при передаче. Клод Шеннон был первым ученым, взявшимся за решение этих задач и создавшим новую для того времени науку - теорию информации .

К.Шеннон определил способ измерения количества информации, передаваемой по каналам связи. Им было введено понятие пропускной способности канала , как максимально возможной скорости передачи информации. Эта скорость измеряется в битах в секунду (а также килобитах в секунду, мегабитах в секунду).

Пропускная способность канала связи зависит от его технической реализации. Например, в компьютерных сетях используются следующие средства связи:

Телефонные линии,

Электрическая кабельная связь,

Оптоволоконная кабельная связь,

Радиосвязь.

Пропускная способность телефонных линий - десятки, сотни Кбит/с; пропускная способность оптоволоконных линий и линий радиосвязи измеряется десятками и сотнями Мбит/с.

Шум, защита от шума

Термином “шум” называют разного рода помехи, искажающие передаваемый сигнал и приводящие к потере информации. Такие помехи прежде всего возникают по техническим причинам: плохое качество линий связи, незащищенность друг от друга различных потоков информации, передаваемых по одним и тем же каналам. Иногда, беседуя по телефону, мы слышим шум, треск, мешающие понять собеседника, или на наш разговор накладывается разговор совсем других людей.

Наличие шума приводит к потере передаваемой информации. В таких случаях необходима защита от шума.

В первую очередь применяются технические способы защиты каналов связи от воздействия шумов. Например, использование экранированного кабеля вместо “голого” провода; применение разного рода фильтров, отделяющих полезный сигнал от шума, и пр.

Клодом Шенноном была разработана теория кодирования , дающая методы борьбы с шумом. Одна из важных идей этой теории состоит в том, что передаваемый по линии связи код должен быть избыточным . За счет этого потеря какой-то части информации при передаче может быть компенсирована. Например, если при разговоре по телефону вас плохо слышно, то, повторяя каждое слово дважды, вы имеете больше шансов на то, что собеседник поймет вас правильно.

Однако нельзя делать избыточность слишком большой. Это приведет к задержкам и удорожанию связи. Теория кодирования позволяет получить такой код, который будет оптимальным. При этом избыточность передаваемой информации будет минимально возможной, а достоверность принятой информации - максимальной.

В современных системах цифровой связи для борьбы с потерей информации при передаче часто применяется следующий прием. Все сообщение разбивается на порции - пакеты . Для каждого пакета вычисляется контрольная сумма (сумма двоичных цифр), которая передается вместе с данным пакетом. В месте приема заново вычисляется контрольная сумма принятого пакета и, если она не совпадает с первоначальной суммой, передача данного пакета повторяется. Так будет происходить до тех пор, пока исходная и конечная контрольные суммы не совпадут.

Рассматривая передачу информации в пропедевтическом и базовом курсах информатики, прежде всего следует обсудить эту тему с позиции человека как получателя информации. Способность к получению информации из окружающего мира - важнейшее условие существования человека. Органы чувств человека - это информационные каналы человеческого организма, осуществляющее связь человека с внешней средой. По этому признаку информацию делят на зрительную, звуковую, обонятельную, тактильную, вкусовую. Обоснование того факта, что вкус, обоняние и осязание несут человеку информацию, заключается в следующем: мы помним запахи знакомых объектов, вкус знакомой пищи, на ощупь узнаем знакомые предметы. А содержимое нашей памяти - это сохраненная информация.

Следует рассказать ученикам, что в мире животных информационная роль органов чувств отличается от человеческой. Важную информационную функцию для животных выполняет обоняние. Обостренное обоняние служебных собак используется правоохранительными органами для поиска преступников, обнаружения наркотиков и пр. Зрительное и звуковое восприятие животных отличается от человеческого. Например, известно, что летучие мыши слышат ультразвук, а кошки видят в темноте (с точки зрения человека).

В рамках данной темы ученики должны уметь приводить конкретные примеры процесса передачи информации, определять для этих примеров источник, приемник информации, используемые каналы передачи информации.

При изучении информатики в старших классах следует познакомить учеников с основными положениями технической теории связи: понятия кодирование, декодирование, скорость передачи информации, пропускная способность канала, шум, защита от шума. Эти вопросы могут быть рассмотрены в рамках темы “Технические средства компьютерных сетей”.

Канал связи представляет собой совокупность технических средств для передачи сообщений из одной точки пространства в другую. С точ­ки зрения теории информации физическое устройство канала несуще­ственно. Источник сообщений(ИС) имеет выходной алфавит символовA ={а i },i= 1.. n - количество информации, приходящееся в среднем на один символ источника:

где p i , - вероятность появления символаa i , на выходе источника, символы источника считаются независимыми. Канал связи имеет алфавит символовB={b j },j= 1.. m, среднее количество информации в одном символе канала

где q j - вероятность появления символаb i , в канале.

Техническими характеристиками канала связи являются:

техническая производительность источника  A - среднее число символов, выдаваемых источником в единицу времени;

техническая пропускная способность канала связи  B - среднее число символов, передаваемое по каналу в единицу времени.

Информационной характеристикой источника является инфор­мационная производительность. По определению, информационная производительность - это среднее количество информации, выдава­емое источником в единицу времени.

В канале без помех информационными характеристиками являются:

1) скорость передачи информации по каналу

2) пропускная способность канала

где {P } - множество всех возможных распределений вероятностей символов алфавитаВ канала. С учетом свойств энтропии

C K = B . log 2 m.

В канале с помехами в общем случае входной и выходной алфа­виты не совпадают. Пусть

B ВХ =X={x 1 ,x 2 ,…,x n };

B ВЫХ =Y={y 1 ,y 2 ,…,y m }.

Если отправленный на входе канал символ х к опознан в приемнике какy i иi  K , то при передаче произошла ошибка. Свойства канала описываются матрицей переходных вероятностей (вероятность приема символау i , при условии, что посланх k ):

|| P(yi|xk) ||, k=1..n, i=1..m.

Справедливо соотношение:

Среднее количество информации на один входной символ канала:

p i =p(x i ) .

Среднее количество информации на выходной символ канала:

Информация, которую несет выход канала о входе:

I(Y,X)=H(X)-H Y (X)=H(Y)-H X (Y).

Здесь Ну (Х ) - условная энтропия входного символа канала при на­блюдении выходного символа (ненадежность канала),Н х (Y ) - услов­ная энтропия выходного символа канала при наблюдении входных символов (энтропия шума).

Скорость передачи информации по каналу с помехами:

dI(B)/dt=  B I(X,Y).

Пропускная способность канала с помехами:

где { р} - множество всех возможных распределений вероятностей входного алфавита символов канала.

Рассмотрим пример

Найти пропускную способность двоичного симметричного канала (канала с двухсимвольными входными и выходными алфавитами) и одинаковыми вероятностями ошибок (рис.1), если априорные вероят­ности появления входных символов:P(x 1 )=P 1 =P, P(x 2 )=P 2 =1-P .

Решение. В соответствии с моделью канала условные веро­ятности

P(y 1 | x 2 ) = P(y 2 | x 1 ) = P i ,

P(y 1 | x 1 ) = P(y 2 | x 2 ) = 1-P i .

Пропускная способность канала - C K =  B . max{H(Y)-H(X|Y)}. Найдем энтропию шума:

По теореме умножения: P (y j x i )=P (x i )P (y j |x i ), следовательно,

P (x 1 y 1 )=P (1-P i ), P (x 2 y 1 )=(1- P )P i ,P (x 1 y 2 )=PP i ,P (x 2 y 2 )=(1-P )(1-P i ).

Подставляя в формулу, получаем:

Таким образом, H( Y | X ) не зависит от распределения входного алфавита, следовательно:

Определим энтропию выхода:

Вероятности P (y 1 ) иP (y 2 ) получаем следующим образом:

P (y 1 )=P (y 1 x 1 )+P (y 1 x 2 )=P (1-P i )+(1-P i )P i , P (y2 )=P (y 2 x 1 )+P (y 2 x 2 )=PP i +(1-P )(1-P i ).

Варьируя Р, убеждаемся, что максимальное значение H (Y ), равное 1, получается при равновероятных входных символахP (y 1 ) иP (y 2 ). Следовательно,

Задача . Найти пропускную способность канала с трехсимвольными входными и выходными алфавитами (x 1 ,x 2 ,x 3 иy 1 ,y 2 ,y 3 соответсвенно). Интенсивность появления символов на входе канала k =V . 10 символов/с.

Вероятности появления символов:

,
, .

Вероятности передачи символов через канал связи:

,
,,

,
,,

,
,.

4. КОДИРОВАНИЕ ИНФОРМАЦИИ

4.1. Общие сведения Кодом называется:

Правило, описывающее отображение одного набора знаков в другой набор знаков или в набор слов без знаков;

Множество образов, получающихся при таком отображении.

В технических кодах буквы, цифры и другие знаки почти всегда кодируются двоичными последовательностями, называемыми двоичными кодовыми словами. У многих кодов слова имеют оди­наковую длину (равномерные коды).

Выбор кодов для кодирования конкретных типов сообщений определяется многими факторами:

Удобством получения исходных сообщений из источника;

Быстротой передачи сообщений через канал связи;

Объёмом памяти, необходимым дня хранения сообщений;

Удобством обработки данных;

Удобством декодирования сообщений приемником.

Закодированные сообщения передаются по каналам связи, хра­нятся в ЗУ, обрабатываются процессором. Объемы кодируемых данных велики, и поэтому во многих случаях важно обеспечить таксе кодирование данны:"., которое характеризуется минимальной длиной получающихся сообщений, Это проблема сжатия данных. Существуют два подхода сжатия данных:

Сжатие, основанное на анализе статистических свойств коди­руемых сообщений.

Сжатие на основе статистических свойств данных называется так же теорией экономного или эффективного кодирования. Эко­номное кодирование основано на использовании кодов с перемен­ной длиной кодового слова, например, код Шеннона-Фано, код Хафмана /31. Идея использования кодов переменной длины для сжа­тия данных состоит в том, чтобы сообщения с большей вероят­ностью появления ставить в соответствие кодовые комбинации мень­шей длины и, наоборот, сообщения с малой вероятностью появле­ния кодировать словами большей длины. Средняя длина кодового слова определяется с.о.:

где /, - длина кодового слова для кодирования i - го сообщения; p t - вероятность появления i - го сообщения.

4.2. Задания

4.2.1. Из табл.4 выбрать дня последующего кодирования ис­ходный алфавит, содержащий 10 символов, начиная с N-ro (N - порядковый номер студента в журнале группы). Пронормировать вероятности символов.

4.2.2. Пронормировать выбранный в п.4.2.1. исходный алфавит равномерным двоичным кодом, кодом Шеннона-Фано, кодом Хафмана. Для каждого варианта кодирования рассчитать мини­мальное, максимальное, среднее значение длины кодового слова. Проанализировать результаты.

4.2.3. Проделать задание 4.2.2. для троичного кода.

Таблица 4

4.3. Указания к выполнению отдельных заданий К заданию 4.2.1. Нормирование вероятностей производится по формуле:

/W-HO / *Рк " JC=AT

где Pi - вероятности появления символов, приведенные в табл.4.

К заданию 4.2.2. Правила построения двоичных кодов изло­жены в /4,6/.

К заданию 4.2.3. При построении троичного кода в качестве кодовых слов берутся слова, записанные в троичной системе счис­ления. Оптимальный троичный код строится с помощью процедуры Хафмана (с помощью процедуры Шеннона-Фано строится субоп-тимальный код). При этом разбиение алфавита ведется на три груп­пы, первой группе приписывается "О", второй - "1", третьей - "2".

Рассмотрим каналы, отличающиеся по типу используемых в них линий связи.

1. Механические , в которых для передачи информации используется перемещение каких-либо твердых, жидких или газообразных тел. В первом случае могут использоваться рычаги или тросы (например − органы управления автомобилем), во втором – гидравлические системы (например − тормозная система автомобиля), в третьем – разного рода пневматические устройства (широко используются, например, в газовой промышленности).

2. Акустические . Используют механические колебания звуковой и ультразвуковой частоты, особенно хорошо распространяющиеся в жидких средах. Широко применяются, например, для передачи информации людям или устройствам, находящимся под водой или в другой жидкой среде, а также при проведении медицинских исследований (УЗИ). Акустический канал в газовой среде – едва ли не основной для передачи информации между людьми (речь). Акустические сигналы низкой интенсивности безвредны для здоровья человека.

4. Электрические каналы. Наиболее распространены в настоящее время при передаче информации на малые расстояния. Основа – проводные линии связи.

5. Радиоканалы. Как и оптические, используют для передачи информации электромагнитные волны. Однако намного более низкой частоты. Благодаря способности таких волн огибать препятствия и отражаться от плазменных слоев, окружающих Землю, становится возможным передача информации на большие расстояния, в том числе в масштабе всей Земли. Эти преимущества, однако, являются источником недостатков. Радиоканалы сильно подвержены влиянию помех и менее скрытны. Радиоканал, наряду с оптическим, может использоваться для подключения к компьютерной сети Интернет в районах со слаборазвитой инфраструктурой проводной электросвязи.

Конец работы -

Эта тема принадлежит разделу:

Теория информации и кодирования

Сочинский государственный университет.. туризма и курортного дела.. Факультет информационных технологий и математики..

Если Вам нужно дополнительный материал на эту тему, или Вы не нашли то, что искали, рекомендуем воспользоваться поиском по нашей базе работ:

Что будем делать с полученным материалом:

Если этот материал оказался полезным ля Вас, Вы можете сохранить его на свою страничку в социальных сетях:

Все темы данного раздела:

Курс лекций
Эффективная организация обмена информации приобретает все большее значение как условие успешной практической деятельности людей. Объем информации, необходимый для нормального функционирования совре

Определение понятия информация
Слово информация происходит от латинского informare – изображать, составлять понятие о чем-либо, осведомлять. Информация наряду с материей и энергией является первичны

Фазы обращения информации
Система управления состоит из объекта управления, комплекса технических средств, состоящего из компьютера, входящих в его состав устройств ввода-вывода и хранения информации, устройств сбора переда

Некоторые определения
Данные или сигналы, организованные в определенные последовательности, несут информацию не потому, что они повторяют объекты реального мира, а по общественной договоренности о кодировании, т.е. одно

Меры информации
Прежде, чем перейти к мерам информации, укажем, что источники информации и создаваемые ими сообщения разделяются на дискретные и непрерывные. Дискретные сообщения слагаются из конечно

Геометрическая мера
Определение количества информации геометрическим методом сводится к измерению длины линии, площади или объема геометрической модели данного носителя информации или сообщения. По геометрическим разм

Аддитивная мера (мера Хартли)
Аддитивную меру можно рассматривать как более удобную для ряда применений комбинаторную меру. Наши интуитивные представления об информации предполагают, чтобы количество информации увеличивалось пр

Энтропия и ее свойства
Существует несколько видов статистических мер информации. В дальнейшем будем рассматривать только одну их них ─ меру Шеннона. Мера Шеннона количества информации тесно связана с понятие

Энтропия и средняя энтропия простого события
Рассмотрим подробнее понятие энтропии в разных вариантах, так как оно используется в шенноновской теории информации. Энтропия - мера неопределенности некоторого опыта. В простейшем случае его ис

Метод множителей Лагранжа
Если нужно найти экстремум (максимум, минимум или седловую точку) функции n переменных f(x1, x2, …, xn), связанных k

Вывод формулы среднего значения энтропии на букву сообщения
Предположим, имеется сообщение, состоящее из n букв: , где j=1, 2, …, n ─ номера букв в сообщении по порядку, а i1, i2, … ,in номера букв

Энтропия сложного события, состоящего из нескольких зависимых событий
Теперь предположим, что элементы сообщения (буквы) взаимозависимы. В этом случае вероятность появления последовательности из нескольких букв не равна произведению вероятностей появ

Избыточность сообщения
Как отмечалось, энтропия максимальна, если вероятности сообщений или символов, из которых они составлены, одинаковы. Такие сообщения несут максимально возможную информацию. Если же сообщение имеет

Содержательность информации
Мера содержательности обозначается cont (от английского Content ─ содержание). Содержательность события I выражается через функцию меры содержательности его о

Целесообразность информации
Если информация используется в системах управления, то ее полезность разумно оценивать по тому эффекту, который она оказывает на результат управления. В связи с этим в 1960 г. советским ученым А.А.

Динамическая энтропия
Здесь энтропия рассматривается как функция времени. При этом преследуется цель – избавиться от неопределенности, т.е. добиться положения, когда энтропия равна 0. Такая ситуация характерна для задач

Энтропия непрерывных сообщений
Исходные данные часто представляются в виде непрерывных величин, например, температура воздуха или морской воды. Поэтому представляет интерес измерение количества содержащейся в таких сообщениях ин

Первый случай (значения сл. величины ограничены интервалом)
Случайная величина a ограничена интервалом . В этом случае определенный интеграл ее плотности распределения вероятностей (дифференциального закона распределения вероятностей) на

Второй случай (заданы дисперсия и математическое ожидание сл. величины)
Предположим теперь, что область определения значений случайной величины не ограничена, но задана ее дисперсия D и математическое ожидание M. Заметим, что дисперсия прямо пропорциональ

Квантование сигналов
Непрерывные сигналы – носители информации – представляют собой непрерывные функции непрерывного аргумента – времени. Передача таких сигналов может выполняться при помощи непрерывных каналов связи,

Виды дискретизации (квантования)
Наиболее простыми и часто используемыми видами квантования являются: · квантование по уровню (будем говорить просто квантование); · квантование по времени (будем называть

Критерии точности представления квантованного сигнала
В результате обратного преобразования из непрерывно-дискретной формы в непрерывную получается сигнал, отличающийся от исходного на величину ошибки. Сигнал называется воспроизводящей функц

Элементы обобщенной спектральной теории сигналов
Обобщенная спектральная теория сигналов объединяет методы математического описания сигналов и помех. Эти методы позволяют обеспечить требуемую избыточность сигналов с целью уменьшения влияния помех

О практическом использовании теоремы Котельникова
Возможную схему квантования-передачи-восстановления непрерывного сигнала можно представить в виде, изображенном на рис. 2.5. Рис. 2.5. Возможная схема квантования-передачи-

Выбор периода дискретизации (квантования по времени) по критерию наибольшего отклонения
В результате квантования по времени функции x(t) получается ряд значений x(t1), x(t2), … квантуемой величины x(t) в дискретные моменты времени t

Интерполяция при помощи полиномов Лагранжа
Воспроизводящая функция в большинстве случаев рассчитывается по формуле: , где − некоторые функции. Эти функции обычно стремятся выбрать так, чтобы. (2.14) В этом случае,

Оценка максимального значения ошибки при получении воспроизводящей функции на основе полинома Лагранжа
Найдем погрешность интерполяции. Представим ее виде: , (2.16) где K(t) – вспомогательная функция, которую надо найти. Для произвольного t* имеем: (

Обобщение на случай использования полиномов Лагранжа произвольного порядка
Интерполяция полиномами n-го порядка рассматривается аналогично предыдущим случаям. При этом наблюдается значительное усложнение формул. Обобщение приводит к формуле следующего вида:

Выбор интервала дискретизации по критерию среднеквадратического отклонения
Рассмотрим случай дискретизации случайного стационарного эргодического процесса x(t) с известной корреляционной функцией. Восстанавливать будем при помощи полиномов Лагранжа. Наиболее часто

Оптимальное квантование по уровню
Рисунком 2.13 иллюстрируется принцип квантования по уровню. Рис. 2.13. Квантование по уровню. Это квантование сводится к замене значения исходного сигнала уровн

Расчет неравномерной оптимальной в смысле минимума дисперсии ошибки шкалы квантования
Рис. 2.19. Обозначения Зададимся теперь числом шагов квантования n, границами интервала (xmin, xmax

Общие понятия и определения. Цели кодирования
Кодирование − операция отождествления символов или групп символов одного кода с символами или группами символов другого кода. Код (франц. code), совокупность зна

Элементы теории кодирования
Некоторые общие свойства кодов. Рассмотрим на примерах. Предположим, что дискретный источник без памяти, т.е. дающий независимые сообщения – буквы – на выходе, име

Неравенство Крафта
Теорема 1. Если целые числа n1, n2, …, nk удовлетворяют неравенству, (3.1) существует префиксный код с алфавитом объемом m,

Теорема 2.
Формулировка. Пусть задан код с длинами кодовых слов n1, n2, … , nk и с алфавитом объема m. Если код однозначно декодируем, неравенство Крафта удовле

Теорема 3.
Формулировка. При заданной энтропии H источника и объеме m вторичного алфавита существует префиксный код с минимальной средней длиной nср min

Теорема о минимальной средней длине кодового слова при поблочном кодировании (теорема 4)
Рассмотрим теперь случай кодирования не отдельных букв источника, а последовательностей из L букв. Теорема 4. Формулировка. Для данного дискретного источника

Оптимальные неравномерные коды
Определения. Неравномерными называют коды, кодовые слова которых имеют различную длину. Оптимальность можно понимать по-разному, в зависимости о

Лемма 1. О существовании оптимального кода с одинаковой длиной кодовых слов двух наименее вероятных кодируемых букв
Формулировка. Для любого источника с k>=2 буквами существует оптимальный (в смысле минимума средней длины кодового слова) двоичный код, в котором два наименее вероятных сло

Лемма 2. Об оптимальности префиксного кода нередуцированного ансамбля, если префиксный код редуцированного ансамбля оптимален
Формулировка. Если некоторый префиксный код редуцированного ансамбля U"является оптимальным, то соответствующий ему префиксный код исходного ансамбля т

Особенности эффективных кодов
1. Букве первичного алфавита с наименьшей вероятностью появления ставится в соответствие код с наибольшей длиной (лемма 1), т.е. такой код является неравномерным (с разной длиной кодовых слов). В р

Помехоустойчивое кодирование
Как следует из названия, такое кодирование предназначено для устранения вредного влияния помех в каналах передачи информации. Уже сообщалось, что такая передача возможна как в пространстве, так и в

Простейшие модели цифровых каналов связи с помехами
Свойство помехоустойчивых кодов обнаруживать и исправлять ошибки в сильной степени зависит от характеристик помех и канала передачи информации. В теории информации обычно рассматривают две простые

Расчет вероятности искажения кодового слова в ДСМК
Положим, кодовое слово состоит из n двоичных символов. Вероятность неискажения кодового слова, как несложно доказать, равна: . Вероятность искажения одного символа (однокра

Общие принципы использования избыточности
Для простоты рассмотрим блоковый код. С его помощью каждым k разрядам (буквам) входной последовательности ставится в соответствие n-разрядное кодовое слова. Количество разного вида

Граница Хэмминга
Граница Хэмминга Q, определяет максимально возможное количество разрешенных кодовых слов равномерного кода при заданных длине n кодового слова и корректирующей способности кода КСК

Избыточность помехоустойчивых кодов
Одной из характеристик кода является его избыточность. Увеличение избыточности в принципе нежелательно, т.к. увеличивает объемы хранимых и передаваемых данных, однако для борьбы с искажениями избыт

Линейные коды
Рассмотрим класс алгебраических кодов, называемых линейными. Определение: Линейными называют блоковые коды, дополнительные разряды которых образуются

Определение числа добавочных разрядов m
Для определения числа добавочных разрядов можно воспользоваться формулой границы Хэмминга: . При этом можно получить плотноупакованный код, т.е. код с минимальной при заданных пар

Построение образующей матрицы
Линейные коды обладают следующим свойством: из всего множества 2k разрешенных кодовых слов, образующих, кстати, группу, можно выделить подмножества из k слов, обладающих св

Порядок кодирования

Порядок декодирования

Двоичные циклические коды
Вышеприведенная процедура построения линейного кода имеет ряд недостатков. Она неоднозначна (МДР можно задать различным образом) и неудобна в реализации в виде технических устройств. Этих недостатк

Некоторые свойства циклических кодов
Все свойства циклических кодов определяются образующим полиномом. 1. Циклический код, образующий полином которого содержит более одного слагаемого, обнаруживает все одиночные ошибки.

Построение кода с заданной корректирующей способностью
Существует несложная процедура построения кода с заданной корректирующей способностью. Она состоит в следующем: 1. По заданному размеру информационной составляющей кодового слова длиной

Матричное описание циклических кодов
Циклические коды можно, как и любые линейные коды, описывать с помощью матриц. Вспомним, что KC(X) = gm(X)*И(Х) . Вспомним также на примере порядок умножения пол

Выбор образующего полинома
Ясно, что полиномы кодовых слов КС(Х) должны делиться на образующий полином g(X) без остатка. Циклические коды относятся к классу линейных. Это означает, что для этих кодов существует

Пропускная способность каналов связи
Эта тема является одной из центральных в теории информации. В ней рассматриваются предельные возможности каналов связи по передаче информации, определяются характеристики каналов, влияющие на эти в

Пропускная способность дискретного канала связи с шумом
Исследуем теперь пропускную способность дискретного канала связи с шумом. Существует большое количество математических моделей таких каналов. Простейшей из них является канал с независимой

Типичные последовательности и их свойства
Будем рассматривать последовательности статистически независимых букв. Согласно закону больших чисел, наиболее вероятными будут последовательности длиной n, в которых при количества N

Основная теорема Шеннона для дискретного канала с шумом
Формулировка Для дискретного канала в шумом существует такой способ кодирования, при котором может быть обеспечена безошибочная передача все информации, поступающей от источ

Обсуждение основной теоремы Шеннона для канала с шумом
Теорема Шеннона для канала с шумом не указывает на конкретный способ кодирования, обеспечивающий достоверную передачу информации со скоростью, сколь угодно близкой с пропускной способности канала с

Пропускная способность непрерывного канала при наличии аддитивного шума
Рассмотрим следующую модель канала: 1. Канал способен пропускать колебания с частотами ниже Fm. 2. В канале действует помеха n(t), имеющая нормальный (гау

Шаг 2. Ввод текстовых файлов в Excel-таблицу с разбиением каждой строки текста на отдельные символы
При вводе ранее сохраненного текстового файла следует указать тип файла *.*. Это позволит во время выбора видеть в списке все файлы. Укажите свой файл. После этого на экран будет выведено окно М

Шаг 4. Находим среднюю энтропию, приходящуюся на 1 букву сообщения
Как описано в теоретическом введении, средняя энтропия находится по формулам 1 и 2. В обоих случаях нужно найти вероятности появления букв или двухбуквенных комбинаций.. Вероятности можно

Шаг 8. Напишем отчет о выполненной работе с описанием всех вычислений и о том, как они выполнялись. Прокомментируйте результаты
Результаты вычислений представьте в виде таблицы: <Язык 1> <Язык

Подключение возможности использования нестандартных функций
Программное управление приложениями, входящими в состав Microsoft Office, осуществляется при помощи так называемых макросов. Слово Макрос – греческого происхождения. В перево

Создание нестандартной функции
Перед созданием нестандартных функций нужно открыть файл в рабочей книгой, содержащей информацию, которую нужно обработать с применением этих нестандартных функций. Если ранее эта рабочая книга был

Запись голоса и подготовка сигнала
Запись начинается и заканчивается нажатием кнопки Record (рис. 5), помеченной красный кружком. В процессе записи кнопка Recоrd выглядит вдавленной и более светлой (подсвеченной).

Импорт текстовых данных в Excel
Двойным кликом откройте текстовый файл с экспортированные из программы Wavosaur данными (рис. 23). Рис. 23. Примерный вид данных Видно, что экспортированные

Квантование по уровню сводится к замене значения исходного сигнала уровнем того шага, в пределы которого это значение попадает
Квантование по уровню – необходимое условие преобразования непрерывного сигнала в цифровую форму. Однако одного лишь квантования по уровню для этого недостаточно – для преобразования в цифровую фор

Коды Хаффмена
На этом алгоритме построена процедура построения оптимального кода, предложенная в 1952 году доктором Массачусетского технологического института (США) Дэвидэм Хаффменом: 5) буквы перви

Процесс повторяется до тех пор, пока в каждой подгруппе останется по одной букве
Рассмотрим алфавит из восьми букв. Ясно, что при обычном (не учитывающем статистических характеристик) кодировании для представления каждой буквы требуется три символа. Наибольший эффек

Параметры эффективности оптимальных кодов
Таких параметров 2: коэффициент статистического сжатия и коэффициент относительной эффективности. Оба параметра характеризуют степень уменьшения средней длины кодового слова. При этом средняя длина

Особенности эффективных кодов
5. Букве первичного алфавита с наименьшей вероятностью появления ставится в соответствие код с наибольшей длиной (лемма 1), т.е. такой код является неравномерным (с разной длиной кодовых слов). В р

Выполнение работы
Лабораторная работа №4 выполняется под управлением специально написанной управляющей программы. Эта управляющая программа написана на языке Visual Basic 6. Исполняемый файл программы носит и

Построение образующей матрицы
Линейные коды обладают следующим свойством: из всего множества 2k разрешенных кодовых слов можно выделить подмножества из k слов, обладающих свойством линейной независимост

Порядок кодирования
Кодовое слово КС получается путем умножения матрицы информационной последовательности ||X|| на образующую матрицу ||OM||: ||KC1*n|| = ||X

Порядок декодирования
В результате передачи кодового слова через канал оно может быть искажено помехой. Это приведет к тому, что принятое кодовое слово ||ПКС|| может не совпасть с исходным ||КС||.

Выполнение работы
Лабораторная работа №5, как и работа №4, выполняется под управлением управляющей программы, написанной на алгоритмическом языке Visual Basic 6. Исполняемый файл программы носит имя Помехо

Каналом передачи информации называют совокупность технических средств, обеспечивающую передачу электрических сигналов от одного пункта к другому. Входы канала подключаются к передатчику, а выходы - к приемнику. В современных цифровых системах связи основные функции передатчика и приемника выполняет модем. Одной из главных характеристик канала является скорость передачи информации. Максимально возможная скорость передачи информации (данных) по каналу связи при фиксированных ограничениях называется емкостью канала, обозначается через С и имеет размерность бит/с. В общем случае емкость канала можно определить по формуле: (8.22) где I- количество переданной за время Т информации. В качестве меры количества информации возьмем меру Р. Хартли определяемую как логарифм возможных состояний объекта Ь. (8.23) Для нахождения I воспользуемся теоремой Котельникова, которая доказывает, что сигнал, не содержащий в своем спектре частот выше Р, может представляться 2Р независимыми значениями в секунду, совокупность которых полностью определяет этот сигнал. Данная процедура, называемая аналого-цифровым преобразованием, была рассмотрена в гл. 6. Она состоит из двух этапов - дискретизации по времени, т. е. представлении сигнала в виде п отсчетов, взятых через интервал времени 1 = 1/(2Р), и квантования по уровню, т. е. представления амплитуды сигнала одним из т возможных значений. Определим количество различных сообщений, которое можно составить из п элементов, принимающих любые из т различных фиксированных состояний. Из ансамбля п элементов, каждый из которых может находиться в одном из т фиксированных состояний, можно составить т а различных комбинаций, т. е. 1= т". Тогда: (8.24) За время Тчисло отсчетов п= Г/1=2РГ. Если бы шума не существовало, то число т дискретных уровней сигнала было бы бесконечным. В случае наличия шума последний определяет степени различимости отдельных уровней амплитуды сигнала. Так как мощность является усредненной характеристикой амплитуды, число различимых уровней сигнала по мощности равно (Р е +Р ш)/Р ш), а по амплитуде соответственно: Тогда емкость канала: (8.25) Итак, емкость канала ограничивается двумя величинами: шириной полосы канала и шумом. Соотношение (8.25) известно как формула Хартли-Шеннона и считается основной в теории информации. Полоса частот и мощность сигнала входят в формулу таким образом, что для С= const при сужении полосы необходимо увеличивать мощность сигнала, и наоборот. К основным характеристикам каналов связи относятся: ■ амплитудно-частотная характеристика (АЧХ); ■ полоса пропускания; ■ затухание; * пропускная способность; ■ достоверность передачи данных; ■ помехоустойчивость. Для определения характеристик канала связи применяется анализ его реакции на некоторое эталонное воздействие. Чаще всего в качестве эталона используются синусоидальные сигналы разных частот. АЧХ показывает, как изменяется амплитуда синусоиды на выходе линии связи по сравнению с амплитудой на ее входе для всех частот передаваемого сигнала. Полоса пропускания - это диапазон частот, для которых отношение амплитуды выходного сигнала к входному превышает некоторый заданный предел (для мощности 0.5). Эта полоса частот определяет диапазон частот синусоидального сигнала, при которых этот сигнал передается по линии связи без значительных искажений. Ширина полосы пропускания влияет на максимально возможную скорость передачи информации по линии связи. Затухание - определяется как относительное уменьшение амплитуды или мощности сигнала при передаче по линии связи сигнала определенной частоты. Затухание I обычно измеряется в децибелах (дБ) и вычисляется по формуле: где Р вых - мощность сигнала на выходе линии; Р вх - мощность сигнала на входе линии. Пропускная способность линии (throughput) характеризует максимально возможную скорость передачи данных по линии связи и измеряется в битах в секунду (бит/с), а так же в производных единицах Кбит/с, Мбит/с, Гбит/с. На пропускную способность линии оказывает влияние физическое и логическое кодирование. Способ представления дискретной информации в виде сигналов, передаваемых на линию связи, называется физическим линейным кодированием. От выбранного способа кодирования зависит спектр сигнала и соответственно пропускная способность линии. Таким образом, для одного или другого способа кодирования линия может иметь разную пропускную способность. Если сигнал изменяется так, что можно различить только два его состояния, то любое его изменение будет соответствовать наименьшей единице информации - биту. Если сигнал изменяется так, что можно различить более двух состояний, то любое его изменение несет несколько бит информации. Количество изменений информационного параметра несущего колебания (периодического сигнала) в секунду измеряется в бодах. Пропускная способность линии в битах в секунду в общем случае не совпадает с числом бод. Она может быть как выше, так и ниже числа бод, и это соотношение зависит от способа кодирования. Если сигнал имеет более двух различимых состояний, то пропускная способность в бит/с будет выше, чем число бод. Например, если информационными параметрами являются фаза и амплитуда синусоиды, причем различают 4 состояния фазы (О, 90, 180 и 270) и два значения амплитуды, то информационный сигнал имеет восемь различимых состояний. В этом случае модем, работающий со скоростью 2400 бод (с тактовой частотой 2400 Гц), передает информацию со скоростью 7200 бит/с, так как при одном изменении сигнала передается три бита информации. При использовании сигнала с двумя различными состояниями может наблюдаться обратная картина. Это происходит, когда для надежного распознавания приемником информации каждый бит в последовательности кодируется с помощью нескольких изменений информационного параметра несущего сигнала. Например, при кодировании единичного значения бита импульсом положительной полярности, а нолевого значения бита - импульсом отрицательной полярности, сигнал дважды меняет свое состояние при передаче каждого бита. При таком способе кодирования пропускная способность линии в два раза ниже, чем число бод, передаваемое по линии. На пропускную способность оказывает влияние логическое кодирование, которое выполняется до физического и подразумевает замену бит исходной информации новой последовательности бит, несущей ту же информацию, но обладающей при этом дополнительными свойствами (обнаруживающие коды, шифрование). При этом искаженная последовательность бит заменяется более длинной последовательностью, поэтому пропускная способность канала уменьшается. В общем случае связь между полосой пропускания линии и ее максимально возможной пропускной способностью определяется соотношением (8.25). Из этого соотношения следует, что хотя теоретического предела увеличения пропускной способности линии (с фиксированной полосой пропускания) нет, на практике такой предел существует. Повысить пропускную способность линии можно, увеличив мощность передатчика или уменьшая мощность помех. Однако увеличение мощности передатчика приводит к росту его габаритов и стоимости, а уменьшение шума требует применения специальных кабелей с хорошими защитными экранами и снижения шума в аппаратуре связи. Емкость канала представляет собой максимальную величину скорости. Чтобы достигнуть такой скорости передачи, информация должна быть закодирована наиболее эффективным образом. Утверждение, что такое кодирование возможно, является важнейшим результатом созданной Шенноном теории информации. Шеннон доказал принципиальную возможность такого эффективного кодирования, не определив, однако, конкретных путей его реализации. (Отметим, что на практике инженеры часто говорят о емкости канала, подразумевая под этим реальную, а не потенциальную скорость передачи.) Эффективность систем связи характеризуется параметром, равным скорости передачи информации Я на единицу ширины полосы Г, т. е. Я/Р. Для иллюстрации существующих возможностей по созданию эффективных систем связи на рис. 8.12 приведены графики зависимости эффективности передачи информации при различных видах М-ичной дискретной амплитудной, частотной и фазовой модуляции (кроме бинарной модуляции используется также модуляция с 4, 8, 16 и даже с 32 положениями модулируемого параметра) от отношения энергии одного бита к спектральной плотности мощности шума (Ео/Мо). Для сравнения показана также граница Шеннона. Сравнение кривых показывает, в частности, что наиболее эффективной оказывается передача с фазовой дискретной модуляцией, однако при неизменном отношении сигнал-шум наиболее популярный вид модуляции 4ФМн в три раза хуже потенциально достижимого. Достовернсть передачи данных характеризует вероятность искажения для каждого передаваемого бита данных. Показателем достоверности является вероятность ошибочного приема информационного символа - Р. 1 ОШ Рис. 8.12. Эффективность цифровых систем связи: 1 - граница Шеннона; 2 - М-ичная ФМн; 3 - М-ичная АМн; 4 - М-ичная ЧМн Величина Р ош для каналов связи без дополнительных средств защиты от ошибок составляет, как правило, 10 4 ... 10 6 . В оптоволоконных линиях связи Р ош составляет 10" 9 . Это значит, что при Р ош = 10 4 в среднем из 10 000 бит искажается значение одного бита. Искажения бит происходят как из-за наличия помех на линии, так и из-за искажений формы сигнала, ограниченной полосой пропускания линии. Поэтому для повышения достоверности передаваемых данных необходимо повышать степень помехозащищенности линий, а также использовать более широкополосные линии связи. Непременной составной частью любого канала является линия связи - физическая среда, обеспечивающая поступление сигналов от передающего устройства к приемному. В зависимости от среды передачи данных линии связи могут быть: ■ проводные (воздушные); ■ кабельные (медные и волоконно-оптические); ■ радиоканалы наземной и спутниковой связи (беспроводные каналы связи). Проводные линии связи представляют собой проложенные между опорами провода без каких-либо экранирующих или изолирующих оплеток. Помехозащищенность и скорость передачи данных в этих линиях низкая. По таким линиям связи передаются, как правило, телефонные и телеграфные сигналы. 8.3.1.

Каналом связи называют совокупность технических средств и физической среды, способной к передаче посылаемых сигналов, которые обеспечивают передачу сообщений от источника информации к получателю.

Каналы принято делить на непрерывные и дискретные.

В наиболее общем случае всякий дискретный канал включает в себя непрерывный как составную часть.

Если влиянием мешающих факторов на передачу сообщений в канале можно пренебречь, то такой идеализированный канал называется каналом без помех.

В таком канале каждому сообщению на входе однозначно соответствует определенное сообщение на выходе и наоборот. Если влиянием помех в канале пренебречь нельзя, то при анализе особенностей передачи сообщений по такому каналу используют модели, характеризующие работу канала при наличии помех.

В зависимости от конкретных свойств реальных каналов используют различные типы моделей. Канал, в котором вероятности отождествления первого сигнала со вторым и второго с первым одинаковы, называется симметричным каналом.

Канал, на выходе которого алфавит сигнала отключается от алфавита сигнала на входе, называется каналом со стиранием.

Канал со стиранием и трансляцией Канал со стиранием

Канал передачи сообщений к получателю дополнительным обратным каналом, служащим для повышения достоверности передачи, называется каналом с обратной связью.

Канал связи считается заданным, если известны данные о сообщениях на его входе, а также ограничения, которые накладываются на входные сообщения физическими характеристиками каналов.

Для характеристики каналов связи используют два понятия скорости передачи:

а) Техническая скорость передачи, характеризуется числом элементарных сигналов, передаваемых по каналу в единицу времени. Она зависит от свойств линий связи, а быстродействие от аппаратуры каналов. .

б) Информационная скорость, которая определяется средним количеством информации, передающаяся в единицу времени. Эта скорость зависит как от характеристик данного канала, так и от характеристик используемых сигналов.

Пропускной способностью канала называется максимальная скорость передачи информации по этому каналу, достигаемая при самых совершенных способах передачи и приемов. Пропускная способность, как и скорость передачи информации, вообще измеряется количеством передаваемой информации в единицу времени.

15. Согласование физических характеристик канала связи и сигналов

Каждый конкретный канал связи обладает физическими параметрами, определяющими возможности передачи по этому каналу тех или иных сигналов, независимо от назначения, любой канал можно охарактеризовать тремя основными параметрами:

1) - время доступа каналов, [c];

2)
- полоса пропускания канала связи, [Гц];

3)
- допустимое превышение сигнала над помехами (шумами).

- объем канала связи.

Чтобы оценить возможность передачи данного сигнала по конкретному каналу нужно соотнести характеристики канала с соответствующими характеристиками сигнала:

1) - длительность сигнала;

2) - полоса частот (ширина спектра) сигнала;

3)
- уровень превышения сигнала над помехами.

- объем сигнала.