Hoe start je met infobright columnbased database? Het laden van hele grote files naar infobright met behulp van pentaho data-integration. Daan Blinde, november 2009

1. Starten met Infobright (open source versie 3.2) Daan Blinde, 7 november 2009

2. OPEN SOURCE DOWNLOADS : http://www.infobright.org/Download/ICE/ Mijn installatie Infobright MIJN DOWNLOADS : Link naar MySQL tools

3. Configuratie / Instellingen Laptop Acer Aspire 7720 3 GB intern Core 2 Duo processor T5550 1,83 GHz BRIGHTHOUSE.INI ServerMainHeapSize= 900 # ServerMainHeapSize - Size of the main memory heap in the server process, in MB ServerCompressedHeapSize= 300 # ServerCompressedHeapSize - Size of the compressed memory heap in the server process, in MB. LoaderMainHeapSize= 340 # LoaderMainHeapSize - Size of the memory heap in the loader process, in MB.

5. 30 miljoen rijen

7. 2b. Laad tekst files in Infobright load data infile 'c:/data/dwh/f_verrichtingen_2009.txt' into table if_verrichtingen fields terminated by ';' enclosed by '"'; LET OP: belangrijk om de engine INFOBRIGHT te kiezen ! Ik heb hier gebruik gemaakt van SQL scripts en niet van de bulk loader in Pentaho

8. 3. Laadtijd Laadtijd : 2 uur 15 min. Laden in de open source versie blijkt veel meer tijd te vergen dan de commerciele versie. Zie ook: http://www.infobright.org/Forums/viewthread/566/ Laadtijd tekstbestanden naar mysql : 8 uur ! Ter vergelijking heb ik alleen het jaar 2009 geladen in een ‘normale’ mysql tabel (engine=myisam). Dit kostte 1 uur en 15 min. Dus voor de 5 jaren zou ik totaal op ongeveer 8 uur uitkomen !

9. 4. Compressie Grootte = 777 MB Compressie : De bestandscompressie die wordt toegepast is enorm. Van 12,3 GB naar 777 MB (nog maar 6% van oorspronkelijke omvang !) Compressie standaard mysql opslag Voor alleen 2009= 9 MB Totaal zou dit neerkomen op 6 GB (dit is 50% van oorspronkelijke omvang)

10. 5. Query performance Wordt vervolgd !