Строим плот - Как не утонуть в данных
•
1 like•396 views
Презентация подготовлена по материалам выступления Дениса Кравченко на Vitebsk Archi Meetup (26.02.2014). http://devowl.org/
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (20)
Similar to Строим плот - Как не утонуть в данных
Similar to Строим плот - Как не утонуть в данных (20)
More from Vitebsk Miniq
More from Vitebsk Miniq (20)
Строим плот - Как не утонуть в данных
- 2. Who is who • Денис • EPAM Systems • Ведущий JEE-разработчик
- 3. Agenda • Архитектура «Producer/Consumer» • Публикация данных • Publishing Tool • Dead message workflow
- 6. Потому что зоопарк • Зоопарк источников данных • Зоопарк хранилищ данных • Независимые наборы данных • Распределенная инфраструктура • Различные сценарии работы
- 9. Используемые технологии • JMS • Apache Camel • Apache ActiveMQ • Apache Thrift
- 12. JMS
- 13. Topic Queue PRODUCER TOPIC CONSUMER #1 CONSUMER #2 CONSUMER #3 {M1, M2, M3} {M1, M2, M3} M1 M1 M1 {M1, M2, M3} {M1, M2, M3} QUEUEPRODUCER CONSUMER #1 CONSUMER #2 CONSUMER #3 {M1, M2, M3} M1 M2 M3 M1 M2 M3
- 19. 3 Проблема TOPIC QUEUE QUEUE QUEUE PRODUCER VIRTUAL TOPIC OK FAIL FAIL CONSUMER 1 CONSUMER 2 CONSUMER 3
- 20. 3 Решение TOPIC QUEUE QUEUE QUEUE PRODUCER VIRTUAL TOPIC OK CONSUMER 1 CONSUMER 2 CONSUMER 3 DestinationInterceptor
- 21. 4 Проблема void doMagic(); void doNothing(); int return42(); MESSAGE ?
- 23. RECEIVER SERVICE void doMagic(); void doNothing(); int return42(); CAMEL ROUTE executeThrift(); THRIFT BODY JMS message THRIFT PROCESSOR THRIFT PROCESSOR void doMagic(); void doNothing(); int return42(); THRIFT PROCESSOR findProcessor ProcessFunc ProcessFunc ProcessFunc CONSUMER CONSUMER
- 24. Apache Thrift
- 25. Apache Thrift namespace java com.example.counter.thrift.gen service CounterService { oneway void increment(1:i32 value) } Содержимое файла example.thrift:
- 26. Producer/Consumer // Producer CounterService.Client client = new CounterService.Client(sender.getProtocol()); client.increment(1); // Consumer @Component("counterConsumer") public class CounterConsumer extends AbstractDataHandler implements CounterService.Iface { @Override public void increment(int value) { // perform your business logic here } }
- 33. А если «что-то не так»? 1) Dead queue на брокере 2) Dead-message-consumer 3) MongoDB 4) Dead-message-producer
- 34. Итого 15 окружений 44 уникальных наборов данных 73 консьюмера # # #