Soit I un ensemble d'informations. Soit un ensemble fini de symboles appelé alphabet. Les ai sont appelés caractères de A. Un ensemble ordonné de caractères est appelé mot. La base du codage est le cardinal de l'ensemble A.
Coder I consiste à faire correspondre à chaque éléments de I un mot de A. Un codage est redondant si un élément est associé à plusieurs codes.
Un codage peut être à longueur fixe :
ou à longueur variable
? Pour un codage de longueur fixe n, si b est la base du codage, monter que
l'on peut représenter bn éléments, et que l'on a alors bn! codages possibles.