Informationstheorie und Codierung

Die Informationstheorie gehOrt zu den Grundlagen fUr alle Wissenschaftsgebiete, die sich mit der Obertragung von Nachrichten und dei Verarbeitung von Informationen befassen. Ihre Geburtsstunde wird auf das Jahr 1948 dadiert, in dem C. E. Shannon seine grundlegenden Untersuchungen tiber das Wesen von Nachrichten veroffentlichte. In diesem Buch werden die auf den Gedanken von Shannon basierenden Grundla- gen der Informationstheorie dargestellt und zusatzlich wichtige Teile der Codierungs- theorie. Einige Codierungsmethoden, z.B. Verfahren zur Quellencodierung (Ab- schnitt 5) sind ohne Kenntnisse aus der Informationstheorie tiberhaupt nicht zu ver- stehen. Andere Teile der Codierungstheorie, z.B. Konstruktionsverfahren fUr fehler- erkennende Codes (Abschnitt 6) sind weniger stark mit der Informationstheorie ver- zahnt und konnen weitgehend eigenstandig behandelt werden. Bei dem vorliegenden Buch wird versucht mit moglichst geringen mathematischen Hilfsmitteln auszukommen. Vorausgesetzt werden neben Kenntnissen der hOheren Mathematik einige Grundlagen der Wahrscheinlichkeitsrechnung. Auf eine strenge mathematische BeweisfUhrung wird Mufig zugunsten von Plausibilitatserklarungen verzichtet. Viele Erklarungen und voll durchgerechnete Beispiele sollen zum Ver- standnis des Stoffes beitragen. Das Buch ist als Begleitbuch zu Vorlesungen, beson- ders aber auch ftir das Selbststudium konzipiert. Nach einem ganz kurzen einfiihrenden Abschnitt befaBt sich der Abschnitt 2 mit der Beschreibung diskreter Informationsquellen. Hier wird zunachst der Begriff des Entscheidungsgehaltes und des mittleren Informationsgehaltes (Entropie) eingefiihrt. Zum AbschluB des Abschnittes wird der InformationsfluB diskreter Informations- quellen behandelt.