1. From: =?utf-8?q?Michal_Bukovsk=C3=BD?=
<michal.bukovsky@firma.seznam.cz>
To: undisclosed-recipients: ;
Subject: Seznam.cz Email
Date: Tue, 9 Oct 2012 12:00:00 +0200 (CEST)
Content-Type: multipart/x-presentation;
boundary=--slide--

2. ----slide--
Content-Type: text/x-presentation-content
➔Architektura emailu
➔Příjem a odesílání pošty
➔Ukládání dat
➔Ochrana proti SPAMu a virům
➔Technologie

3. ----slide--
Content-Type: text/x-numbers
➔Přichází 120k spojení/min
➔Přijímáme 60k spojení/min
➔Ukládáme 20k zpráv/min
➔80% zpráv tvoří SPAM
➔Odesíláme 4k zpráv/min
➔Průměrná zpráva má přes 500kB
➔1.4PB zabraného místa na storage
A to vše pro více jak 8 000 000 aktivních uživatelů

4. ----slide--
Content-Type: text/x-numbers
➔O vše se stará 1500 virtuálů na 350 serverech v 22 racích
➔O které se starají 8 administrátorů
➔Aplikaci tvoří 10 + 3 vývojářů, 2 produkťáci a 1 UI návrhář

5. ----slide--
Content-Type: text/x-numbers

6. ----slide--
Content-Type: text/x-architecture-io
Internet
I/O
Storage

7. ----slide--
Content-Type: text/x-architecture-io
SMTP FastRPC
GList
SMTPD
Internet
Storage
SMTP
Storage
SMTPC QM
Storage

8. ----slide--
Content-Type: text/x-architecture-io
SMTP FastRPC
GList
SMTPD
Internet
Storage
SMTP
Storage
SMTPC QM
Storage
SA
SA Scanner
Storage
NOD32 nod32

9. ----slide--
Content-Type: text/x-architecture-io
SMTP FastRPC
GList
SMTPD
Internet
Storage
Storage Bouncer
SMTP
Storage
SMTPC QM
Storage
Storage
Storage
SA
Storage
SA Scanner
MDA Storage
NOD32 nod32

10. ----slide--
Content-Type: text/x-architecture-storage
HTTP, POP3,... Proxy Fetcher
Internet
FastRPC
POP3 IMAPv4
SMTP
...
{
msg: {...} Ebox TTC
id: 3
vclock: {0, 1, 123456} I/O
} FastRPC
{ Storage
msg: {...}
id: 4 FastRPC
vclock: {2, 1, 123460}
}
{
Ebox NG
msg: {...}
id: 1
vclock: {8, 0, 123477}
}

11. ----slide--
Content-Type: text/x-architecture-set-vs-set
Ebox NG Ebox TTC
{ {
flags: {unread = true} flags: {unread = true}
body: "Ahoj, ......" body: "Ahoj, ......"
vclock: {0, 0, 123456} vclock: {0, 0, 123456}
} }
{ {
flags: {unread = false} flags: {unread = false}
body: "Ahoj, ......" body: "Ahoj, ......"
vclock: {0, 1, 123460} vclock: {1, 0, 123461}
} }
{ {
flags: {unread = false} flags: {unread = false}
body: "Ahoj, ......" body: "Ahoj, ......"
vclock: {1, 1, 123461} vclock: {1, 1, 123461}
} }

12. ----slide--
Content-Type: text/x-architecture-set-vs-remove
Ebox NG Ebox TTC
{ {
flags: {unread = false} flags: {unread = false}
body: "Ahoj, ......" body: "Ahoj, ......"
vclock: {0, 0, 123456} vclock: {0, 0, 123456}
} }
{ {
flags: {unread = true} flags: {unread = false}
body: "Ahoj, ......" body: "Ahoj, ......"
vclock: {0, 1, 123460} vclock: {1, 0, 123456}
} }
{ {
flags: {unread = true} flags: {unread = true}
body: "Ahoj, ......" body: "Ahoj, ......"
vclock: {0, 1, 123460} vclock: {0, 1, 123460}
} }

13. ----slide--
Content-Type: text/x-architecture-storage
HTTP, POP3 Proxy Fetcher
FastRPC
Internet Storage
POP3 IMAPv4
Ebox
I/O Storage
Storage
DH1 DH2 DH3
00*, 11*, ... 00*, 11*, ... 22*, 33*, …
Princip hashování:
EMAIL → 0011223344556677 → DH1

14. ----slide--
Content-Type: text/x-spam-smtpd
➔Velký traffic nemusí být vždy nevýhoda
➔GeoIP – IP rasismus
➔Autoblocker – automatický IP/User blacklist
➔SPF – csas.cz
➔GrayList – 80% úspěšnost
➔Blacklisty a Whitelisty
➔Delivery test

15. ----slide--
Content-Type: text/x-spam-scanner
➔Domain Keys
➔SpamAssassin
➔Bayes – SA, Bogofilter
➔IP/URL DNS Blacklisty
➔DCC Blacklisty
➔Sbírání URL

16. ----slide--
Content-Type: text/x-spam-smtpc
➔Nejen spameři jsou na blacklistech
➔CAPTCHA na webmailu
➔Více odchozích IP adres

17. ----slide--
Content-Type: text/x-viruses
➔Nod32 – scanner
➔Aktualizace – opět velký traffic výhodou
➔V dnešní době menší problém než spam

18. ----slide--
Content-Type: text/x-technologies
➔C++, STL, Boost, Python
➔Proprietární databáze metadat
➔(MySQL)
➔FastRPC, HTTPStorage
➔MTD, MetaServer
➔Memcache

19. ----slide--
Content-Type: text/x-questions
Děkuji za pozornost
Michal Bukovský <michal.bukovsky@firma.seznam.cz>
http://vyvojari.seznam.cz
http://seznam.sblog.cz
http://opensource.seznam.cz
----slide----