ETHCon Korea 2019 Presentation

1. 100만데이터를
거래할수있는
블록체인프로토콜,개발기.

2. 현에어블록리드블록체인엔지니어
전에어브릿지백엔드/모바일엔지니어
therne
김효준
발표자 소개

3. 에어블록이 무엇이고
해결해야 할 🛤 목표는 무엇이였는지
암호경제학을 어떻게 🔬 연구해서
어떻게 🖥 개발했는지
어떤 내용인가요?

4. 에어블록이 뭔데요?
에어블록이뭔가요? · Airbloc

5. 사용자의동의와통제하에
데이터를수집하고거래하는
사용자중심데이터거래플랫폼

7. Airbridge bought your GPS Data from MapMo.
Yesterday
Your Installed App List data was collected from MapMo.
3 days ago
Withdrawal of 10,240 ABL is completed.

9. 이런 과정으로 데이터를 거래해요.
에어블록이뭔가요? · Airbloc

10. 이런 데이터에 집중하고 있어요.
세그먼트
실시간 데이터
익명 데이터
에어블록이뭔가요? · Airbloc

11. 해결해야 할 목표는?
에어블록이뭔가요? · Airbloc
🛤

12. 에어블록의 설계 목표
🏢 비즈니스 스케일의 데이터 거래
조건?
🔐 탈중앙화, 대신 신뢰비용을 효율적으로
해결해야할목표는? · Airbloc

13. • 일반적인블록체인기반데이터거래플랫폼:데이터셋단위.하지만
• 세그먼트데이터 :사용자속성단위
• 실시간데이터 : 사용자행동이벤트
• 그래서목표스케일이얼마인데?
• 분당5만건의데이터포인트처리목표->하루에7200만건
• 에어브릿지데이터수집량과비즈니스요구조건에근거해산정
비즈니스스케일의데이터거래? 🏢
해결해야할목표는? · Airbloc

14. 사용자와기업간의무너진프라이버시신뢰를회복하려면
데이터사용에있어강제되는규칙과투명성이있어야하고
모두가감시하고참여할수있는플랫폼이여야한다.
탈중앙화, 하지만 효율적으로 🔐
해결해야할목표는? · Airbloc

15. 탈중앙화, 하지만 효율적으로 🔐
1. 목적에 맞는 트레이드오프를 잘 선택해보자.
2. 네트워크 안에서 지불되는 “신뢰비용”을 효율적으로 써보자.
해결해야할목표는? · Airbloc

16. 분야와접근방법에따라필요한탈중앙화의정도가다를수있음.
1.목적에맞는트레이드오프를잘선택해보자.
Blockchain Platform
by Cryptoeconomics
Prediction Market
by Cryptoeconomics
Blockchain Platform
by On-Chain Governance
탈중앙화, 하지만 효율적으로 🔐

17. 1.목적에맞는트레이드오프를잘선택해보자.
사용자의디지털자산을관리함 · 공격시리스크매우위험
→견제레벨최고, 방식은암호경제학을통한완전한탈중앙화
사용자의디지털자산을관리함 · 공격시리스크매우위험
→견제레벨최고, 방식은온체인거버넌스기반견제를통한반중앙화
특정사건에대해서예측하고돈을배팅함 · 공격시리스크위험
→견제레벨최고, 방식은암호경제학을통한Resilience보장
데이터를자산처럼거래하고활용함 · 공격시리스크위험
→견제레벨 , 방식은? ?

18. 탈중앙화, 하지만 효율적으로 🔐
1. 목적에 맞는 트레이드오프를 잘 선택해보자.
2. 네트워크 안에서 지불되는 “신뢰비용”을 효율적으로 써보자.
해결해야할목표는? · Airbloc

19. 탈중앙화, 하지만 효율적으로 🔐
2.네트워크안에서지불되는“신뢰비용”을효율적으로써보자.

20. 2.네트워크안에서지불되는“신뢰비용”을효율적으로써보자.
과거 기차표를 탈 때 일일히 검사했음
탈중앙화, 하지만 효율적으로 🔐

21. 2.네트워크안에서지불되는“신뢰비용”을효율적으로써보자.
과거 기차표를 탈 때 일일히 검사했음
현재 빈 자리에 사람이 앉아있는지만 검사
탈중앙화, 하지만 효율적으로 🔐

22. 연구해야 하는 것
🏢 백만 데이터 거래를
🔐 효율적으로 탈중앙화
해결해야할목표는? · Airbloc
목표가 정해졌으니

23. 이렇게 연구했어요
🔬
암호경제학을어떻게도입했는지 · Airbloc

24. (암호경제학을) 이렇게 연구했어요
🔬
암호경제학을어떻게도입했는지 · Airbloc

25. 암호경제학을어떻게도입했는지 · Airbloc
1. 주기적으로 암호경제학 스터디, 그리고 패턴화
2. 주어진 문제를 패턴으로 모델링하기
3. Attack Vector 진단
4. 해결 방법에 대한 토론
5. ✅ ? 적용하거나 PoC 구현 시도
에어블록 팀이 시도했던 연구 방식 🧐

26. 암호경제학을어떻게도입했는지 · Airbloc
1. 주기적으로 암호경제학 스터디, 그리고 패턴화
2. 주어진 문제를 패턴으로 모델링하기
3. Attack Vector 진단
4. 해결 방법에 대한 토론
5. ✅ ? 적용하거나 PoC 구현 시도
에어블록 팀이 시도했던 연구 방식 🧐
암호경제학이 뭔가요?
그런데 말입니다

27. 암호경제학을어떻게도입했는지 · Airbloc
에어블록 팀이 시도했던 연구 방식 🧐
1. 주기적으로 암호경제학 스터디, 그리고 패턴화
2. 주어진 문제를 패턴으로 모델링하기
3. Attack Vector 진단
4. 해결 방법에 대한 토론
5. ✅ ? 적용하거나 PoC 구현 시도
Given any distributed protocol to be able to deploy it
1. To the public internet (open participation)
2. By incentivizing nodes that faithfully
implement roles defined in the protocol
3. In a way that is publicly verifiable
From Cryptoeconomics @ Devcon 4
암호경제학[Crypto-economics]

28. 암호경제학을어떻게도입했는지 · Airbloc
에어블록 팀이 시도했던 연구 방식 🧐
1. 주기적으로 암호경제학 스터디, 그리고 패턴화
2. 주어진 문제를 패턴으로 모델링하기
3. Attack Vector 진단
4. 해결 방법에 대한 토론
5. ✅ ? 적용하거나 PoC 구현 시도
암호경제학
증명 가능한 방법으로
인센티브를 제공해
공개 분산 프로토콜을 설계하는 분야

29. 암호경제학을어떻게도입했는지 · Airbloc
에어블록 팀이 시도했던 연구 방식 🧐
1. 주기적으로 암호경제학 스터디, 그리고 패턴화
2. 주어진 문제를 패턴으로 모델링하기
3. Attack Vector 진단
4. 해결 방법에 대한 토론
5. ✅ ? 적용하거나 PoC 구현 시도
암호경제학
증명 가능한 방법으로
인센티브를 제공해
공개 분산 프로토콜을 설계하는 분야

30. 암호경제학을어떻게도입했는지 · Airbloc
1. 주기적으로 암호경제학 스터디, 그리고 패턴화
2. 주어진 문제를 패턴으로 모델링하기
3. Attack Vector 진단
4. 해결 방법에 대한 토론
5. ✅ ? 적용하거나 PoC 구현 시도
에어블록 팀이 시도했던 연구 방식 🧐

31. 암호경제학을어떻게도입했는지 · Airbloc
에어블록 팀이 사용했던 방법론
PRESTO 프레임워크

32. 암호경제학을어떻게도입했는지 · Airbloc
PRESTO
• V. Chia, et al., “Rethinking blockchain security: Position paper,” at IEEE 2018
• Optimality: 목적함수를극대화하는가?
• STability: 네트워크가 내쉬 평형을 이루는가?
• Efficiency: 공유자원을효율적으로사용하는가?
• Robustness: 문제상황에서도얼마나잘버티나?
• Persistence: 문제가생겨도얼마나빠르게복구되나?

33. 암호경제학을어떻게도입했는지 · Airbloc
PRESTO의 적용 From Cryptoeconomics @ Devcon 4

34. 암호경제학을어떻게도입했는지 · Airbloc
다시 문제로 돌아가서
“백만 데이터 다루기”

35. Plasma Approach
수많은데이터정보를블록체인위에올려야함
Layer1에서는확장성문제가생김
사이드체인을사용해보는건어떨까?
암호경제학을어떻게도입했는지 · Airbloc
처음엔…

36. • 당시스마트컨트랙트를돌릴수있는플라즈마는없었음
• 그렇다고자산만안전하게보존하고코드는일단돌리기?그냥중앙화 🥵
• SuccinctProof을활용한솔루션?
• zk-SNARK:한계많음(Roll-Up, Plasma Snappy)
• TrueBit:느림
• 해결못한결정적인문제:Data Availability Problem, UX
Plasma Approach
암호경제학을어떻게도입했는지 · Airbloc

37. • 아직자유로운활용을기대하기엔너무초기단계
• Dapp이기때문에플랫폼연구에비용을들이는건좀…
• LoomNetwork등의사이드체인을활용하는것도고려됨.
• 얻은것?
• 암호경제학적사례나연구방법론,과정에대해서많은걸배움
• 타협불가능한원칙과싸우는연구분야 👏
Plasma Approach Failed 😢
암호경제학을어떻게도입했는지 · Airbloc

38. "애초에왜모든데이터목록을
블록체인에올려야했던거지?"
문제의재정의
암호경제학을어떻게도입했는지 · Airbloc

39. DataManagementinBlockchain?
Space Complexity : O(N)
Unscalable
암호경제학을어떻게도입했는지 · Airbloc

40. Rethinking… 🤔
앞서말했던걸떠올려봅시다.
“확장성이란:O(N)에서탈출하는것”
“신뢰비용의최소화”
암호경제학을어떻게도입했는지 · Airbloc

41. Rethinking… 🤔
• 신뢰가어긋나는상황:사용자의통제를어기고데이터를수집/거래할때
• 신뢰가어긋나는상황이전체의몇%나될까?
• 이상황을위해서모든데이터를블록체인에올려야되나?
• 1%의문제를위해99%의비용을지불하는상황
암호경제학을어떻게도입했는지 · Airbloc

42. Rethinking… 🤔
• 신뢰가어긋나는상황:사용자의통제를어기고데이터를수집/거래할때
• 신뢰가어긋나는상황이전체의몇%나될까?
• 이상황을위해서모든데이터를블록체인에올려야되나?
• 1%의문제를위해99%의비용을지불하는상황
암호경제학을어떻게도입했는지 · Airbloc

43. New Scalability Approach
"Mass Data Protocol"
어떻게문제를해결했는가? · Airbloc

44. 어떻게문제를해결했는가? · Airbloc
Mass Data Protocol
• 수집/거래되는데이터의정보를오프체인에만올리자.
• 문제가생겼을때만온체인사기증명(FraudProof)을통해처벌하자.
• 신고한사람에게인센티브를제공해감시를유도하자.

45. 어떻게문제를해결했는가? · Airbloc
어떻게 사기 증명을 할 수 있을까?

46. 어떻게문제를해결했는가? · Airbloc
어떻게 사기 증명을 할 수 있을까?
MerkleUserDataset(MUD)

47. • A Nested Sparse Merkle Tree containing users' data information
• Sparse Merkle Tree (SMT) is used in Plasma Cash, Ethereum 2.0, etc…
• By nesting a SMT in the SMT, we can fit any large set of user's data information
into the single 32-byte Merkle Root. O(1)
SMT
User 1 → [Data1, Data2]
User 2 → [Data3, Data4]
User 3 → [Data5]
Merkle User Dataset (MUD)
어떻게문제를해결했는가? · Airbloc

48. • Any user can challenge if any fraudulent behavior detected from data provider.
• User needs to provide merkle proof to prove that the challenge is right
• Thanks to SMT, the proof is very cheap! (Only ~600bytes)
• If the challenge is right,
• The data provider will be penalized by losing its ABL collateral
• the user is rewarded from the penalized amount
Challenge Protocol

49. 1. Data provider collects and
registers data in a regular batch.
• Registers a merkle root only
onto the Airbloc contract.
2. Broadcasts full data list in the network.
3. User monitors it and challenges if
the data that the user have refused to
collect is registered on Airbloc.
Mass Data Protocol :
Data Collection

50. 1. Data provider settles a data transaction
with a data consumer.
• Registers a merkle root of
the data being transacted.
2. Broadcasts full data list in the network.
3. User monitors it and challenges if
the data that the user have refused to
be monetized is exchanged on Airbloc.
Mass Data Protocol :
Data Exchange

51. User can also challenge if unregistered data is being exchanged
• This can be done by submitting both exclusion proof
for the MUD in data batch and inclusion proof
for the MUD in data transaction.

52. IsitScalable?
Space Complexity : O(1)
Yes, it is!
어떻게문제를해결했는가? · Airbloc

53. 이렇게 개발했어요
🖥
이렇게개발했어요 · Airbloc

54. • 처음엔빠른프로토타이핑을위해파이썬사용
• 하지만늘어가는요구사항
• 암호화관련라이브러리가빈약함
• P2P네트워킹을위한라이브러리부재
• 성능이느리다 😟
기술스택에대한고민
이렇게개발했어요 · Airbloc

55. • Go로프로젝트베이스를변경함
• 풍부한블록체인관련라이브러리
• 이더리움과의연동이쉬움
• gRPC지원이풍부함
• 손쉬운P2P네트워킹(libp2p 😎)
• 고루틴을통한데이터처리병렬화
Go로이사하기
이렇게개발했어요 · Airbloc

56. 지금은 이렇게 사용하고 있어요
코어 백엔드
libp2p
이렇게개발했어요 · Airbloc

57. 확장성을 위하여 : 느슨한 결합
• 모든데이터처리파이프라인은SPOF없이느슨하게결합됨
• 블록체인에데이터를등록할때도Kafka를이용해비동기로처리한다.
SDK
이렇게개발했어요 · Airbloc

58. 확장성을 위하여 : 데이터 스트리밍
• 에어블록코어의역할:데이터공급자백엔드에서등록및거래담당
• 스트림형태로받은후배치로만들어서한번에블록체인에등록하자.
• gRPC의Bi-DirectionalStreaming기능을활용!
이렇게개발했어요 · Airbloc

59. 확장성을 위하여 : 고루틴 낭비하기
이렇게개발했어요 · Airbloc
함수 호출 앞에 go만 붙이면
마이크로스레드에서 병렬 실행됨
채널을 통한 편리한 고루틴간 통신
컨텍스트 스위칭 비용 : 📉
고루틴 생성 비용 : 👌

60. 확장성을 위하여 : 고루틴 낭비하기
이렇게개발했어요 · Airbloc
• MassDataProtocol로인해데이터수집시머클트리계산로직이추가됨
• 생각보다계산이무거워서Throughput에영향을줌
• 단하루만에고루틴으로병렬화시키고성능을향상시킬수있었다.

61. 스트리밍과 고루틴 낭비의 결과
Before 3m
After 4.4s40X!
For 3 million data
이렇게개발했어요 · Airbloc

62. 회고
📝
회고 · Airbloc

63. • 사기증명을통해챌린지한사용자에대한인센티브모델
• Proposal:데이터거래수수료모델,시뇨리지모델
• 하지만시뇨리지는증명가능한방법으로주어져야한다.
• 오프체인데이터에대한데이터가용성문제
• Proposal:데이터가용성챌린지,멀티블록체인모델
• 많이고민해봐야할분야
아직해결해야할과제
회고 · Airbloc

64. • 퍼블릭블록체인은매우비싸다.
• 확장성솔루션들은공짜가아니다.
• “ㅇㅇ가필요하면보상줘서해결하자!”라고생각했지만그것도비용
• 신뢰라는건눈에보이는개념이아니기때문
• 퍼블릭블록체인위에서의“신뢰비용”최적화라는건,
우리에게필요한신뢰가무엇인지먼저생각해봐야한다는것
회고 · Airbloc
“신뢰비용”에 대하여

65. 회고 · Airbloc
그럼에도블록체인을쓰는이유?
• VirgilGriffith:“이더리움은기존에할수없었던플러스섬게임을
할수있는새로운플랫폼이다”.
• 참여자간이해관계가플러스섬형태→열린플랫폼
• 누구도소유하지않을때신뢰가극대화→오픈거버넌스
• 그렇다면블록체인은더이상비싸보이지않을것이다.

66. Thank you!