17. ● Hive
○ HIVE-14029 : Update Spark version to 2.0.0
○ HIVE-14999 : SparkClientUtilities does not support viewFS
○ HIVE-15101 : Spark client process can be stuck when UNHEALTHY
NodeManager exists
○ HIVE-15237 : Propagate Spark job failure to Hive
○ HIVE-15239 : hive on spark combine equivalent work get wrong result
because of TS operation compare
○ HIVE-15513 : GroupByOperator should initialize GenericUDAFEvaluator
before AggregationBuffer (recurrence of HIVE-697)
○ HIVE-15580 : Eliminate unbounded memory usage for orderBy and
groupBy in Hive on Spark
適用しているパッチ
18. ● Flume
○ FLUME-3026 : Add Kafka 0.10 support for Flume
○ FLUME-3065 : Enable multiple monitoring types
○ FLUME-3100 : Support arbitrary header substitution for topic of Kafka
● Spark
○ SPARK-14958 : Failed task hangs if error is encountered when getting task
result
適用しているパッチ
24. 現在の取り組み
ステージング環境 本番環境開発環境
Hive on Tez
Hive on LLAP
Presto on
Yarn/Slider
Hadoop-2.8.0
● Hive on Tez
○ 省メモリバッチジョブのためのMapReduceの代替
● Hive on LLAP / Presto on Yarn/Slider
○ YARNでメモリ管理できる低レイテンシクエリエンジン
● Hadoop-2.8.0
○ 最新バージョンへの追従