Una descripción de linea de tiempo de lo que es el capitulo 14.

2. Capítulo 14
BIG DATA Y OPEN DATA:
EL UNIVERSO DIGITAL
DE DATOS

3. 2007
La consultora tecnológica IDC Corporation (www.idc.com) publicó su primer
informe de la información digital almacenada en el mundo en el año 2007 y
sus predicciones de crecimiento para el año 2010. Este informe fue
patrocinado por la compañía EMC, líder mundial en fabricación de
sistemas de almacenamiento.
Algunos de los datos significativos del resumen ejecutivo del primer
informe de 2007 eran los siguientes:
En 2006, la cantidad de información digital creada, capturada y guardada
(replicated) era de 161 exabytes (una información 3 millones de veces la
información contenida en todos los libros escritos hasta esa fecha.
Entre 2006 y 2010 la información que se añadirá anualmente al universo
digital se incrementaría desde 161 exabytes a 988 exabytes.
IDC predecía que en 2010, casi el 70% del universo digital seria creado por
los individuos y que la seguridad de la información y la protección de la
privacidad serian uno de los temas más preocupantes.

4. 2008
La era del Petabyte3 fue el título del artículo publicado en la prestigiosa
revista Wired en 2008 y firmada por Chris Anderson, su editor. Este
artículo publica un estudio sobre la cantidad de información digital
almacenada en el mundo en esas fechas. Se destaca en el estudio la
proliferación de sensores por todas partes, el almacenamiento infinito,
nubes de procesadores y se comenta nuestra capacidad para capturar,
almacenar y comprender las cantidades masivas de datos (big data) que
están cambiando la ciencia, la medición, los negocios y la tecnología.
• 1 Terabyte (TB) era el espacio equivalente a 250.000 canciones
almacenadas en medios digitales.
• 20 Terabytes, todo el espacio ocupado por las fotos subidas
(uploaded) a Facebook cada mes.
• 120 Terabytes, todos los datos e imágenes recogidas por el telescopio
espacial.
• Hubble.

5. • 460 Terabytes, todos los datos climáticos de los Estados Unidos
recopilados en el National Climatic Data Center.
• 530 Terabytes, todos los videos de YouTube.
• 600 Terabytes, el espacio ocupado por la base de datos genealógica de
los Estados.
• Unidos, que incluía los censos de población desde el año 1790 al año
2000.
• 1 Petabyte (PB), los datos procesados por los servidores de Google cada
75 minutos.
IDC volvió a publicar su informe en 2008 pero ahora denominado “Digital
Universe” (El Universo Digital) y ya en esa ocasión las cifras dadas eran:
281 exabytes en 2007 y se preveía para 2011 la cantidad de 1800 exabytes
(1,8 ZB) o sea 10 veces la información producida en 2006. Una de las
razones fundamentales para el crecimiento se achacaba al creciente
número de cámaras fotográficas y sobre todo el aumento de la revolución
de las cámaras independientes y de las cámaras incorporadas a los
teléfonos celulares, que consideraban cifras medias de 5 megapixeles. El
informe preveía un inimaginable valor de 25 Zettabytes para el año 2020.

6. 2009
En 2009 y por tercer año consecutivo IDC volvió a publicar el informe del
Universo Digital. En esta edición, la cifra almacenada en el año 2008 llego
a los 487 de exabytes y daba como dato anecdótico que esta cantidad era
el equivalente a 30.000 millones de iPod Touch o 10.000 millones de discos
BluRay totalmente cargados, o 162 billones de fotos digitales. Ya en este
informe comenzaban a darse datos del impacto de Twitter y otras redes
sociales.
La nueva administración de los Estados Unidos inicio en 2009 la iniciativa
de Open Data y en paralelo la Unión Europea ha ido adoptando también
dicha iniciativa. En España los pioneros han sido dos gobiernos
autonómicos: el Principado de Asturias y el País Vasco. El objetivo de
ambos gobiernos ha sido generar riqueza y otorgar transparencia y
seguridad jurídica al ciudadano.

7. 2010
En 2010 y coincidiendo con el inicio de la década, el informe paso a
denominarse “The Digital Universe Decade” y se publicó en el mes de
mayo; en el se pronostica que en 2020 el Universo Digital crecería en
cantidades inimaginables, y que el crecimiento del año 2009 fue del 63% y
que el Universo Digital en 2020 seria 50 veces mayor que en el año 2009.
Los datos más sobresalientes del “Universo Digital de la Década” en mayo
2010 eran:
• El año 2009, pese a los datos de recesión global, el conjunto del
Universo Digital creció en un 62%, casi 800.000 Petabytes. Un dibujo
de una fila de discos DVD iría de la Tierra a la Luna y regresaría.
• El crecimiento previsible para el año 2010 alcanzaría la cifra de 1,2
millones de Petabytes, o sea 1,2 Zettabytes (una unidad de medida
hasta ese momento nunca utilizada).

8. • Este crecimiento explosivo significaba que en 2020 el Universo Digital
seria 44 veces más grande que en 2009 (la fila de DVD, ahora podría
llegar a la mitad del camino a Marte.
La prestigiosa revista económica The Economist dedicó en 2010 un
suplemento especial al mundo de los Datos7 en que destacaba en su
portada: “Datos en todas partes”, y cómo la información ha evolucionado
desde la escasez a la superabundancia, lo que conduce a nuevos grandes
beneficios, pero también a grandes preocupaciones o dolores de cabeza,
según señala en su primer artículo Kenneth Cukier. Algunos datos con los
que se inicia el informe mencionan algunas cifras astronómicas de
información que se podían encontrar en la Tierra en las fechas de
publicación. Wal-Mart, el gigante de los grandes almacenes de los Estados
Unidos, manipula más de 2,5 Petabytes, el equivalente de 167 veces los
libros de la Biblioteca del Congreso de América (America´s Library
Congress); la red social Facebook aloja 40.000 millones de fotografías y la
decodificación del genoma humana implicaba el análisis de 3.000 millones
de pares básicos, que tardan 10 años en recolectarse la primera vez que
se hizo en 2003, y que hoy se pueden conseguir en una semana.

9. Otro artículo interesante incluido en el informe, “Clicking for gold”, analiza
la forma en que las empresas de Internet rentabilizan los datos de la Web.
En primer lugar señala el caso de Amazon, la librería virtual más grande
del planeta, creadora y distribuidora del lector de libros electrónicos, Kindle,
y uno de los proveedores más respetados de infraestructuras como
servicio, IaaS, en la Nube. Otras empresas que analiza son Facebook, la
red social con más 650 millones de usuarios, eBay el portal por excelencia
de comercio electrónico especialmente subastas, Google, el motor de
búsquedas numero 1 a nivel mundial. Las compañías de Internet, en
general, recopilan masas de datos de las personas, sus actividades, sus
gustos, sus animadversiones, e incluso sus relaciones con muchas otras
personas.

10. 2011
IDC y EMC continúan con sus estudios sobre almacenamiento digital y el
último informe, “El Universo Digital” de 2011, se presentó el 28 de junio con
un nuevo título “2011 Digital Universe Study: Extracting Value from
Chaos”.12 Las conclusiones más sobresalientes se refieren al hecho de
que el volumen de información continua creciendo a una velocidad
espectacular y este crecimiento y los “big data” están transformando todos
los aspectos de los negocios y de la sociedad, y controlando los cambios
económicos, científicos, tecnológicos y sociales que se están produciendo.
Otros aspectos importantes que destaca el estudio se refiere a que la
información del mundo se duplica cada dos años y que en 2011 se crearían
1.8 zettabytes, creciendo de un modo más rápido que la conocida Ley de
Moore. Las empresas manejaran 50 veces más datos y la cantidad de
archivos será 75 veces mayor en la próxima década.
El informe explica la equivalencia del volumen total de 1.8 zettabytes de
datos y lo muestra con ejemplos prácticos. Así 1,8 ZB equivalen a:

11.  Que a cada persona del mundo se le practiquen más de 215 millones de
resonancias magnéticas de alta resolución por día. Más de 200,000
millones de películas en HD (cada una de 2 horas de duración): ver esta
cantidad de películas le llevaría a una persona dedicada 24 x 7, 47
millones de años.
 El estudio constata el hecho de que “los medios de almacenamiento son
cada vez más económicos, p. e. permiten tomar fotografías de alta
resolución con los teléfonos celulares, que a su vez generan una
demanda de más medios de almacenamiento y las unidades de mayor
capacidad permiten replicar información, lo que a su vez facilita e
impulsa el crecimiento de contenidos”.
 Según el portal data.gov del gobierno federal de Estados Unidos, a
finales de octubre de 2011, en América Latina y el Caribe solo existía un
país con iniciativa de Open Data. Este país era Perú con el proyecto
Open Data Perú (a finales de febrero de 2012 se había incorporado
Uruguay).