Sotaro Kimura

69 Followers

16 SlideShares 69 Followers 60 Followings

I'm a software engineer specialized in Data Infrastructure and Data Processing Technology. - Constructing realtime data processing system(Based on Spark, Flink, Kafka etc) - Operating data analytics platform -- Hadoop, Fluentd, or something related data processing middleware -- Monitoring by Prometheus, Zabbix, Elastic stack etc - Constructing ETL pipeline -- Workflow management by Digdag, Azkaban, Jenkins etc - Constructing CI Pipeline(Jenkins) - Coding skill in Java, Scala, Go, JavaScript, Python and Ruby - Constructing system on AWS(Kinesis Family, Lambda, S3, EC2, ECS etc) - Data management of various purpose analytics data

streamprocessing spark big data kafka streaming flink aws kinesis bigdata architecture engineering nifi etl jjug_ccc kafka stream scala gearpump streamprocessing stream gearpump scala

Presentations
Documents
Infographics

Latest Most Popular

Strata Conference + Hadoop World NY 2016: Lessons learned building a scalable self-serve, real-time, multitenant monitoring service at Yahoo

Sumeet Singh • 8 years ago

Sotaro Kimura

DXとかDevOpsとかのなんかいい感じのやつ　富士通TechLive

大規模データ活用向けストレージレイヤソフトのこれまでとこれから（NTTデータテクノロジーカンファレンス 2019 講演資料、2019/09/05）

Deep Dive into Spark SQL with Advanced Performance Tuning with Xiao Li & Wenchen Fan

20170329_BigData基盤研究会#7

A Practical Guide to Selecting a Stream Processing Technology

技術的負債だらけのチームで技術マネージメントしてみた Kichijoji.pm7[talk2]

Taking Spark Streaming to the Next Level with Datasets and DataFrames

Strata San Jose 2016: Scalable Ensemble Learning with H2O

Strata Conference + Hadoop World NY 2016: Lessons learned building a scalable self-serve, real-time, multitenant monitoring service at Yahoo

Hadoop application architectures - Fraud detection tutorial

Real-Time Spark: From Interactive Queries to Streaming

2016年版フロントエンド開発フォーマット

失敗から学ぶデータ分析グループのチームマネジメント変遷（デブサミ2016） #devsumi

データ分析チームの振り返り

ネットワークカメラを使った玄関前モニタリングの苦労話

リアクティブ・アーキテクチャ～大規模サービスにおける必要性と課題〜 #devsumi

MillWheel Fault-Tolerant Stream Processing at Internet Scaleの意訳

Docker技術情報アップデート v1.9 ネットワークとオーケストレーション

障害対応・運用におけるトリアージ的対応とZabbixの活用

EthernetやCPUなどの話