Este documento presenta los fundamentos de la teoría de la información y la capacidad de canal. Introduce conceptos clave como entropía, información mutua y capacidad de canal. Explica el teorema de codificación de fuente, que establece que la longitud mínima promedio de un código para una fuente no puede ser menor que su entropía. También explica el teorema de codificación de canal, que determina la velocidad máxima de transmisión de información a través de un canal dado su capacidad.

1. Tema 2:
Teoría de la información y capacidad de canal
Dr. José Ramón Cerquides Bueno
Teoría de la Señal y Comunicaciones
Universidad de Sevilla
Transmisión Digital

2. Organización
• Introducción
• Fundamentos de teoría de la información
• Incertidumbre, información, entropía
• Teorema de codificación de fuente
• Entropía condicionada e información mútua
• Capacidad de un canal discreto
• Teorema de codificación de canal
• Capacidad de un canal analógico
• Entropía diferencial
• Información mútua entre variables continuas
• Teorema de Shannon
• Consecuencias e implicaciones
• Conclusiones
• Referencias

3. Introducción
• Trataremos de resolver dos preguntas:
• ¿Cuál es el nº mínimo de bits necesario para representar
una cierta cantidad de información?
TEOREMA DE CODIFICACIÓN DE FUENTE
• ¿Existe una velocidad de transmisión de información límite
para un cierto canal? ¿Cuál es?
TEOREMA DE CODIFICACIÓN DE CANAL
TEOREMA DE CAPACIDAD DE CANAL
• Necesitaremos introducir algunos conceptos de
Teoría de la Información:
• Entropía
• Información mutua
• Capacidad de canal

4. Definición del experimento
• Un experimento S tiene un conjunto de J posibles
resultados
S = {s0, s1,...,sJ-1}
cada uno de ellos con probabilidad pj
• EJEMPLOS:
• Lanzamiento de una moneda o un dado
S = {s0, s1} = {‘cara’,’cruz’} = {‘c’,’+’} {p0, p1} = {1/2, 1/2}
S = {s0, s1, s2, s3, s4,s5} = {‘1’,’2’,’3’,’4’,’5’,’6’}
{p0, p1, p2, p3, p4,p5} = {1/6, 1/6, 1/6, 1/6, 1/6, 1/6}
• Meteorología (lluvioso, nublado, soleado)
S = {s0, s1, s2} = {‘lluvioso’,’nublado’,’soleado’}
{p0, p1, p2} = {?, ?, ?} = {1/10, 1/5, 7/10}
• Transmisión de un símbolo QPSK
S = {s0, s1, s2, s3} = {‘1’,’j’,’-1’,’-j’}
{p0, p1, p2, p3} = {1/4, 1/4, 1/4, 1/4}

5. Incertidumbre, información y entropía
• Se va a realizar el experimento S
• Antes de conocer el resultado tenemos cierta incertidumbre:
¿cuánta?
• Una vez conocido el resultado ganamos cierta cantidad de
información: ¿cuánta?
• Cantidad de información al observar el evento sj es:
I(sj) = log2(1/pj) = -log2(pj) bits
• EJEMPLOS:
• Lanzamiento de una moneda  I(‘c’) = I(‘+’) = 1 bit
• Lanzamiento de un dado  I(‘sj’) = 2,58 bits
• Meteorología  I(‘lluvioso’) = 3,32 bits
I(‘nublado’) = 2,32 bits
I(‘soleado’) = 0,51 bits
• Transmisión QPSK  I(‘sj’) = 2 bits

6. Incertidumbre, información y entropía
• Propiedades de la información:
• I(sj) ≥ 0, cumpliendose la igualdad si y solo si pj=1
• “Cualquier evento nos da cierta cantidad de información, a
menos que sea seguro que va a ocurrir, en cuyo caso su
ocurrencia no nos da ninguna información”.
• EJEMPLO: Al tirar un dado sale un nº entre 1 y 6.
• I(sj) > I(si) si pj < pi
• “Un evento tiene más información cuanto menos probable es”
• EJEMPLO: Meteorología
• I(sj,si) ≤ I(sj) + I(si) cumpliéndose la igualdad si y solo si sj y
si son independientes.
• “La información del resultado de dos experimentos es menor o
igual que la suma de las informaciones por separado”.
• EJEMPLOS: I(‘lluvioso’,’2’) = 5.90 bits = I(‘lluvioso’) + I(‘2’)
I(‘transmito ‘0’,’recibo ‘0’) = 0.152 bits < 2 bits.

7. Incertidumbre, información y entropía
• Se define la entropía de S como:
• H(S) mide la incertidumbre ante el experimento S. O
también la información media que cabe esperar del
resultado.
• La entropía es máxima si todos los casos son equiprobables
0 ≤ H(S) ≤ log2(J)
• EJEMPLOS:
• Lanzamiento de una moneda  H(S) = 1 bit
• Lanzamiento de un dado  H(S) = 2,58 bits
• Meteorología  H(S) = 1.153 bits
• Transmisión QPSK  H(S) = 2 bits
( ) ( ){ } ( )
J 1 J 1
j j j j 2
j 0 j 0 j
1
H S E I s p I s p log
p
− −
= =
 
= = =  ÷ ÷
 
∑ ∑

8. Incertidumbre, información, entropía
• EJEMPLO: Fuente binaria
• S={s0, s1} = {‘0’,’1’} con probabilidades {p0,p1} = {p,1-p}
• H(S) = -p·log2(p) - (1-p)·log2(1-p)
• Nótese que:
• Si p=0 o p=1, H(S) = 0
• Si p=1/2, H(S) es máxima e igual a 1 bit.
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
p
H(S) Entropía de una fuente binaria

9. Teorema de codificación de fuente
• Dada una fuente S con J posibles símbolos decidimos
codificarla utilizando para cada símbolo sj una
palabra binaria bj de longitud Lj (digitos binarios).
• La longitud media de una palabra código (o número
medio de dígitos binarios por símbolo) será:
• El teorema de codificación de fuente (Shannon, 1948)
establece que
• La eficiencia de un codificador de fuente, η es:
J 1
j j
j 0
L p L
−
=
= ∑
( )SHL ≥
( )
L
SH
=η

10. Teorema de codificación de fuente
• EJEMPLO:
• Considere el conjunto S de posibles resultados de un
examen
S={NP, SU, AP, NO, SO, MH}
con probabilidades asociadas {0.1,0.15,0.4,0.2,0.1,0.05}
• La entropía de fuente es:
H(S) = 2.28 bits
• Si codificamos de la forma siguiente:
NP SU AP NO SO MH
000 001 010 011 100 011
obtenemos L = 3 y η=76%.
• De la forma siguiente:
NP SU AP NO SO MH
110 111 0 101 1001 1011
obtenemos L = 2.35, y η=97%.

11. Entropía condicionada
• Consideremos un conjunto posible de símbolos
emitidos S={sj}, j=0..J-1 y otro conjunto posible de
símbolos recibidos R = {rk}, k=0..K-1.
• Definimos H(S|rk) de la forma siguiente:
como entropía de S condicionada a la recepción del
símbolo rk (incertidumbre que queda respecto a S
una vez recibido rk).
• EJEMPLO
• S={carta baraja (40 posibilidades)}, R={figura, no figura},
• H(S) = 5.32 H(R)=0.88
• H(S|figura) =3.58 H(S|no figura) = 4.8
( ) ( )
( )
J 1
k j k 2
j 0 j k
1
H S| r p s | r log
p s | r
−
=
 
 ÷=
 ÷
 
∑

12. Entropía condicionada
• Definimos la entropía de S condicionada a R como:
es decir, como incertidumbre promedio que queda
respecto a S una vez recibido R.
• EJEMPLO:
• S={carta baraja (40 posibilidades)}, R={figura, no figura},
• H(S) = 5.32 H(R)=0.88
• H(S|figura) =3.58 H(S|no figura) = 4.8
• H(S|R) = p(figura)·H(S|figura) + p(no figura)·H(S|no figura)
• H(S|R) = 0.3·3.58 + 0.7·4.8 = 4.43
( ) ( )
( )
K 1 J 1
j k 2
k 0 j 0 j k
1
H S| R p s ,r log
p s | r
− −
= =
 
 ÷=
 ÷
 
∑∑
( ) ( ){ } ( ) ( )
( )
K 1 J 1
k k j k 2
k 0 j 0 j k
1
H S| R E H S| r p r p s | r log
p s | r
− −
= =
 
 ÷= =
 ÷
 
∑ ∑

13. Información mutua
• Consideremos dos experimentos S y R:
• Antes de conocer R nuestro desconocimiento de S es
H(S)
• Conocida R nuestro desconocimiento de S es
H(S|R)
• Luego R aporta
H(S) – H(S|R)
información sobre S.
• La información mútua entre S y R se define como:
I(S;R) = H(S) - H(S|R)
y mide la cantidad de información que R tiene sobre
S (o S sobre R).
• EJEMPLO:
• Cartas y figuras  I(S;R) = 5.32 – 4.43 = 0.89 bits

14. Información mutua
• Propiedades de la información mutua:
• I(S;R) = I(R;S)
• I(S;R) ≥ 0, con igualdad si y solo si S y R independientes
• I(S;R) = H(S)–H(S|R) = H(R)–H(R|S) = H(S)+H(R)-H(S;R)
siendo H(S;R) la entropía conjunta de S y R
( ) ( )
( )
K 1 J 1
j k 2
k 0 j 0 j k
1
H S;R p s ,r log
p s ,r
− −
= =
 
 ÷=
 ÷
 
∑∑
( ) ( )
( )
( )
( )
J 1 K 1 J 1
j 2 j k 2
j 0 k 0 j 0j j k
1 1
I S;R p s log p s ,r log
p s p s | r
− − −
= = =
   
 ÷  ÷= −
 ÷  ÷
   
∑ ∑∑
( ) ( )
( )
( )
( )
K 1 J 1
j k 2 j k 2
k 0 j 0 j j k
1 1
I S;R p s ,r log p s ,r log
p s p s | r
− −
= =
   
 ÷  ÷= −
 ÷  ÷
   
∑∑
( ) ( )
( )
( )
K 1 J 1
j k
j k 2
k 0 j 0 j
p s | r
I S;R p s ,r log
p s
− −
= =
 
 ÷=
 ÷
 
∑∑

15. Información mútua
• Otra forma de calcular la información mútua:
I(S;R) = H(S) + H(R) - H(S;R) =
( )
( )
( )
( )
( )
( )
J 1 K 1 K 1 J 1
j 2 k 2 j k 2
j 0 k 0 k 0 j 0kj j k
1 1 1
p s log p r log p s ,r log
p rp s p s ,r
− − − −
= = = =
    
 ÷  ÷= + − = ÷ ÷ ÷  ÷    
∑ ∑ ∑∑
( )
( )
( ) ( )
( )
( )
K 1 J 1
j k 2 j k 2 j k 2
k 0 j 0 kj j k
1 1 1
p s ,r log p s ,r log p s ,r log
p rp s p s ,r
− −
= =
    
 ÷  ÷= + − = ÷ ÷ ÷  ÷    
∑∑
( )
( ) ( ) ( )
K 1 J 1
j k 2 2 2
k 0 j 0 kj j k
1 1 1
p s ,r log log log
p rp s p s ,r
− −
= =
     
 ÷ ÷  ÷= + − = ÷ ÷ ÷  ÷ ÷     
∑∑
( )
( )
( ) ( )
( )
K 1 J 1
j k
j k 2
k 0 j 0 j k
p s ,r
p s ,r log I S;R
p s p r
− −
= =
 
 ÷= =
 ÷
 
∑∑

16. Información mutua
• EJEMPLO: Transmisión Y-QAM equiprobable:
p(sj) = ¼
p(r0) = ¼ (0.55+0.1+0.1+0.1) = 0.2125
p(r1) = ¼ (0.15+0.8+0.05+0.05) = p(r2) = p(r3) = 0.2625
H(S)=2 H(R) = 1.99
H(S;R)=3,19
I(S;R) = 2 + 1.99 – 3.19 = 0.8
H(S|R) = H(S) – I(S;R) = 1.2
H(R|S) = H(R) – I(R;S) = 1.19
( )k j
0.55 0.15 0.15 0.15
0.1 0.8 0.05 0.05
P r | s
0.1 0.05 0.8 0.05
0.1 0.05 0.05 0.8
 
 
 =
 
 
 
Re
Im
-j
s3
s0
s2 s1
j/2
3
2
3
2
−

17. Capacidad de un canal discreto
• Deseamos que la información mutua sea máxima.
• El canal está fijado, luego lo único que podemos
modificar son las probabilidades de los diferentes
símbolos transmitidos.
• Cuando se maximiza I(S;R) respecto a las
probabilidades de los diferentes sj j={0..J-1}, al valor
máximo lo denominamos capacidad del canal:
• Para obtener C será preciso tener en cuenta que:
P(sj) ≥0 ∀j
( )
( )
jp s
C max I S;R=
( )
J 1
j
j 0
p s 1
−
=
=∑

18. • Ejemplo: Canal binario simétrico
• p(r0|s0)=1-pe
• p(r0|s1)=pe
• p(r1|s0)=pe
• p(r1|s1)=1-pe
• p(r0,s0)=p(r0|s0)p(s0)=(1-pe)p(s0)
• p(r1,s0)=pep(s0)
• p(r0,s1)=pep(s1)=pe(1-p(s0))
• p(r1,s1)=(1-pe)(1-p(s0))
Capacidad de un canal discreto
0
1
0
1
1-pe
1-pe
pe pe

19. Ejemplo: Canal binario simétrico (2)
• p(r0)= p(r0,s0)+p(r0,s1)=(1-pe)p(s0) + pe(1-p(s0))
• p(r1)= 1-p(r0) =pep(s0) +(1-pe)(1-p(s0))
I(S;R) = H(R)–H(R|S)
( )
( )
( )
( )
( )
( )
0
0 0 0
I S,R I S,R p r
0
p s p r p s
∂ ∂ ∂
= =
∂ ∂ ∂
( )
( )
jp s
C maxI S;R=
( )
( )
( )
( )
( )
( )
( )
( )
0
0 0 0 0
I S,R H R H R | S p r
0
p s p r p r p s
 ∂ ∂ ∂ ∂
= − = ÷ ÷∂ ∂ ∂ ∂ 
( ) ( )
( )
( )
( )0 2 1 2
0 1
1 1
H R p r log p r log
p r p r
   
= + ÷  ÷
   
( )
( ) ( ) ( )2 2
0 0 0
H R 1 1
log log
p r p r 1 p r
    ∂  
= − ÷  ÷  ÷  ÷∂ −     

20. Ejemplo: Canal binario simétrico (3)
( )
( )0
H R | S
0
p r
∂
=
∂
( ) ( )
( )
K 1 J 1
k j 2
k 0 j 0 k j
1
H R | S p r ,s log
p r | s
− −
= =
 
 ÷=
 ÷
 
∑∑
( ) ( )
( )
( )
( )
( )
( )
( )
( )
0 0 2 0 1 2
0 0 0 1
1 0 2 1 1 2
1 0 1 1
1 1
H R | S p r ,s log p r ,s log
p r | s p r | s
1 1
p r ,s log p r ,s log
p r | s p r | s
   
= + + ÷  ÷ ÷  ÷
   
   
+ + ÷  ÷ ÷  ÷
   
( ) ( ) ( ) ( )( )
( ) ( ) ( )( )
e 0 2 e 0 2
e e
e 0 2 e 0 2
e e
1 1
H R | S 1 p p s log p 1 p s log
1 p p
1 1
p p s log 1 p 1 p s log
p 1 p
   
= − + − + ÷  ÷
−   
   
+ + − − ÷  ÷
−   

21. Ejemplo: Canal binario simétrico (4)
p(r0)= p(r0,s0)+p(r0,s1)=(1-pe)p(s0) + pe(1-p(s0))
( )
( ) ( ) ( )
( )2 2 e
0 0 0
I S,R 1 1
log log 1 2p 0
p s p r 1 p r
    ∂  
= − − = ÷  ÷  ÷  ÷∂ −     
( )
( )
( )
( )
( )
( )
( )
( )
0
0 0 0 0
I S,R H R H R | S p r
0
p s p r p r p s
 ∂ ∂ ∂ ∂
= − = ÷ ÷∂ ∂ ∂ ∂ 
( )
( ) ( ) ( )2 2
0 0 0
H R 1 1
log log
p r p r 1 p r
    ∂  
= − ÷  ÷  ÷  ÷∂ −     
( )
( )0
H R | S
0
p r
∂
=
∂
( )
( )
0
e
0
p r
1 2p
p s
∂
= −
∂

22. Ejemplo: Canal binario simétrico (y 5)
• La solución implica p(r0) = 1 – p(r0), luego p(r0) = ½
• Por tanto p(s0) = ½ , como cabía esperar.
• La capacidad es:
( )e 2 e 2
e e
1 1
C 1 p log 1 p log
p 1 p
   
= − − − ÷  ÷
−   
( )
( ) ( ) ( )
( )2 2 e
0 0 0
I S,R 1 1
log log 1 2p 0
p s p r 1 p r
    ∂  
= − − = ÷  ÷  ÷  ÷∂ −     

23. • Fuente S
• Genera símbolos de fuente a una velocidad Rs (símbolos de
fuente/segundo)
• Entropía de S es H(S) (bits información/símbolo de fuente)
• Canal
• Capacidad C (bits/símbolo de canal transmitido)
• Transmite símbolos a un régimen Rc (símbolos de canal
transmitidos/segundo)
• Teorema de codificación de canal (Shannon, 1948)
• Es posible enviar (con el código adecuado) con una
probabilidad de error arbitrariamente pequeña si y solo si:
H(S)·Rs ≤ C·Rc
Teorema de codificación de canal
S Cod.
canal
Canal
Rs Rc Rc
Decod.
canal
Destino
Rs

24. EJEMPLOS
• EJEMPLO: Canal binario simétrico
• pe = 0.03  C = 0.8 bits / símbolo de canal
• Fuente S binaria equiprobable (H(S)=1 bit/símbolo de
fuente) con velocidad Rs = 1 símbolo de fuente/segundo
H(S)Rs ≤ CRc
1 bit/segundo ≤ 0.8 Rc
Rc ≥ 1.25 símbolos de canal transmitidos / segundo
• EJEMPLO: Modem V.90
• Modo 56 kbps
• peb = 10-3
 C = 0.988
• Permitiría transmitir datos con una probabilidad de error
tan pequeña como se quiera siempre que la velocidad de
información de la fuente sea inferior a 56000· 0.988 = 55361
bits información / segundo (y se haga uso de la codificación
apropiada).

25. Entropía diferencial
• ¿Podríamos trasladar los resultados obtenidos a
señales analógicas?
• Calculemos la entropía de una variable aleatoria
continua X como límite de una discreta con infinitos
niveles:
X = {xj} j = 0..J-1
( ) ( ){ } ( )
J 1 J 1
j j j j 2
j 0 j 0 j
1
H X E I x p I x p log
p
− −
= =
 
= = =  ÷ ÷
 
∑ ∑
x
fX(x)
x0 x1 x2 . . . xJ-1
Δx
p(x1) ≈ fX(x1)Δx

26. Entropía diferencial
Al hacer tender J a infinito
p(xj) ≈ fX(xj)Δx
x
fX(x)
x0 x1 x2 . . . xJ-1
Δx
-∞ ∞dx
( ) ( )
( )X j 2
x 0
j X j
1
H X lim f x xlog
f x x
∞
∆ →
=−∞
 
 ÷= ∆
 ÷∆ 
∑

27. Entropía diferencial (continuación)
( ) ( )
( )
( ) ( )X j 2 X j 2
x 0
j jX j
1
H X lim f x xlog f x xlog x
f x
∞ ∞
∆ →
=−∞ =−∞
   
 ÷= ∆ − ∆ ∆ 
 ÷   
∑ ∑
( ) ( )
( )
( ) ( )X 2 X 2
x 0
X
1
H X f x log dx f x dx lim log x
f x
∞ ∞
∆ →
−∞ −∞
   
= − ∆ ÷  ÷
  
∫ ∫
( ) ( )2
x 0
H X h(X) lim log x
∆ →
= − ∆
( ) ( )
( )X 2
X
1
h X f x log dx
f x
∞
−∞
 
=  ÷
 
∫
( ) ( )
( )X j 2
x 0
j X j
1
H X lim f x xlog
f x x
∞
∆ →
=−∞
 
 ÷= ∆
 ÷∆ 
∑
( ) ( )
( )
( )X 2 2
x 0
X
1
H X f x log dx lim log x
f x
∞
∆ →
−∞
 
= − ∆ ÷
 
∫

28. Entropía diferencial
• CONSIDERACIONES:
• Cualquier variable aleatoria tiene infinita información
• La entropía diferencial va a servir para compararlas entre sí
• EJEMPLO: Distribución uniforme
fX(x) = 1/a·[u(x) – u(x-a)]
h(X) = log2(a)
• EJEMPLO: Distribución gaussiana
• Dada una varianza σ2
, la variable gaussiana tiene la mayor
entropía diferencial de todas las posibles v.a.
• La entropía diferencial es independiente de la media µ.
( )
( )2
2
x
2
X
1
f x e
2
−µ
−
σ
=
πσ
( ) ( )2
2
1
h X log 2 e
2
= π σ

29. Información mútua entre variables continuas
• Partiendo de la expresión de la información mútua
para variables discretas:
• Información mútua entre X e Y
• Propiedades
• I(X,Y) = I(Y,X)
• I(X,Y) ≥ 0
• I(X,Y) = h(X)+h(Y)– h(X;Y) = h(X)–h(X|Y) = h(Y)–h (Y|X)
( ) ( )
( )
( ) ( )
XY
XY 2
X Y
f x, y
I X,Y f x, y log dxdy
f x f y
∞ ∞
−∞ −∞
 
=  ÷ ÷
 
∫ ∫
( ) ( )
( )XY 2
XY
1
h X;Y f x, y log dxdy
f x, y
∞ ∞
−∞ −∞
 
=  ÷ ÷
 
∫ ∫
( ) ( )
( )
( ) ( )
K 1 J 1
j k
j k 2
k 0 j 0 j k
p s ,r
I S;R p s ,r log
p s p r
− −
= =
 
 ÷=
 ÷
 
∑∑

30. Teorema de capacidad de canal
• Dado un canal con las características
• Ancho de banda B (ideal dentro de la banda)
• Ruido gaussiano de potencia Pn
• Señal recibida de potencia Ps
¿cuál es la máxima velocidad de transmisión de
información alcanzable?
• Sea cual sea el esquema de codificador(es),
modulador, etc. … acabaremos emitiendo una señal
de ancho de banda B.
• Por el teorema de Nyquist
“Cualquier señal de ancho de banda B Hz puede representarse
por un conjunto de muestras tomadas a frecuencia 2B”
• CONCLUSIÓN: La señal emitida (y la recibida)
pueden representarse con 2B muestras/segundo.

31. Teorema de capacidad de canal
Xk
Nk
Yk
… k-1 k k+1 …
Ruido
Señal emitida
Señal recibida

32. Teorema de capacidad de canal
• ¿Cuánta información podrá transportar cada
muestra?
Tendremos que obtener la capacidad del canal
• La relación entre muestras emitidas y recibidas es:
Yk = Xk + Nk
• La capacidad de canal se obtiene maximizando la
información mútua (potencia emitida limitada):
C=max{I(Xk,Yk), E{Xk
2
}= Ps}
I(Xk,Yk) = h(Yk) – h(Yk|Xk)
h(Yk|Xk) = h(Xk+Nk|Xk) = h(Nk)
pero el ruido es gaussiano  h(Nk) = ½log2(2πePn)
I(Xk,Yk) = h(Yk) – h(Nk) = h(Yk) - ½log2(2πePn)
que será máxima cuando Yk sea gaussiana.

33. Teorema de capacidad de canal
• Como Yk tiene potencia Ps+Pn, su entropía será:
h(Yk) = ½log2(2πe[Ps+Pn])
• Por tanto, la capacidad de canal será:
C = ½log2(2πe[Ps+Pn]) - ½log2(2πePn)
C = ½log2(1+Ps/Pn)
bits/muestra transmitida
El número máximo de muestras independientes
transmisibles es 2B muestras /segundo, luego
C = B·log2(1+Ps/Pn) bits/segundo
C = B·log2(1+SNR)
Para el caso más habitual (ruido térmico) de
densidad espectral N0/2
C = B·log2(1+Ps/(BN0))

34. Teorema de capacidad de canal
• EJEMPLO: Canal teléfónico: Centralitas digitales
• B < 4000 Hz
• SNR < 48 dB (6,02 dB/bit x 8 bits)
C < 4000·log2(1+104.8
) = 63781 bps
• Centralitas analógicas
• B < 3100 Hz (300 Hz – 3400 Hz)
• SNR < 30 dB (estudios de canal telefónico)
C < 3100·log2(1+103
) = 30898 bps
• Canal TV analógico
• B  5 MHz
• SNR  38 dB (canal regular)
C  5·106
·log2(1+103.8
) = 63,1 Mbps

35. Implicaciones del teorema
• Consideremos un sistema ideal que transmite a la
máxima velocidad
Rb= C
Ps = EbRb = CEb
C = B·log2(1+Ps/(BN0))
Si B  ∞,
Eb/N0 = ln(2) = 0.693 = -1.6 dB
Por debajo de esa relación Eb/N0 es absolutamente
imposible la transmisión sin errores.
b
2
0
EC C
log 1
B N B
 
= + ÷
 
C
Bb
0
E B
2 1
N C
 
 ÷
 
 
= − ÷
 ÷
 

36. Implicaciones del teorema
• Si el sistema transmite a una velocidad Rb < C
• CONCLUSIONES:
• Compromiso entre la relación Eb/N0 (relación SNR) y Rb/B
(eficiencia)
• Existen zonas en las que resulta posible/imposible la
transmisión sin errores.
• Se establece así el límite de Shannon o cota de capacidad de
canal.
b b
2
0
E R
Blog 1 C
N B
 
+ ≤ ÷
 

37. Compromiso Eb/N0 y Rb/B
-5 0 5 10 15 20 25
10
-1
10
0
10
1
Eb/No dB
Rb/B
Relació n Eb/No y Rb/B
Zona
posible
Zona
imposible

38. Referencias
• Communication Systems, 3rd
.ed.
• Simon Haykin, John Wiley & Sons, 1994.
• Páginas 614 a 622 y 631 a 656.
• Digital Communications, 4th
ed.
• John G. Proakis, McGraw-Hill, 2000.
• Páginas 381 a 387
• An Introducction to Digital Communications
• Jack Kurzweil, John Wiley & Sons, 1999.
• Páginas 366-380
• Digital Transmission Engineering
• John B. Anderson, 1999.
• Páginas 268-272.