Giải pháp lắng nghe mạng xã hội. Kiểm soát, thu thập, đánh giá thông tin, thị trường là bước đầu tiên và quan trọng nhất khi một tổ chức, Doanh nghiệp hoạt động

1. Social Box v3
Giải pháp tổng thể thu thập và phân tích thông tin Mạng Xã Hội
www.1data.co

2. What is Social Box v3 ?
Social Box v3 là Giải pháp Lắng nghe mạng xã hội từ 1DATA
(1data.vn). Chúng tôi cung cấp Giải pháp tổng thể thu thập và
phân tích dữ liệu từ Mạng Xã Hội.
Chúng tôi có > 3 năm kinh nghiệm trong lĩnh vực xử lý dữ liệu
lớn, với các khách hàng: Quân Đội, Nông nghiệp.

3. Social Box v3
Website Monitoring
- Giải bài toán thu thập thông tin từ Website.
- Cảnh báo theo từ khóa và thông tin nhạy cảm.
Facebook Monitoring v1
- Thu thập dữ liệu từ 10.000+ Facebook Account.
- Cảnh báo theo từ khóa và thông tin nhậy cảm.
Facebook Monitoring v2
- Thu thập dữ liệu từ Facebook theo chiến thuật và thu
thập dữ liệu thông minh (Strategy + Automation).
- Ứng dụng Học máy trong phân tích dữ liệu.
- Chuyển đổi sang mô hình Framework.
Social Box v3
- Dễ dàng mở rộng nền tảng Twitter, Instagram,
LinkedIn....
- Lưu trữ dữ liệu trên cơ sở tri thức WikiBase.
- Tăng cường thêm thuật toán học máy trong phân
tích dữ liệu.
2014
2015
2016
2017

4. Why Social Listening
is Important ?

5. Nguồn: WeAreSocial và Tinhte.vn

6. Nguồn: WeAreSocial và Tinhte.vn

7. SOCIAL BOX v3
PLATFORM

8. Crawler Analysis Toolkit Application

9. 1DATA Platform
DATA

10. Dynamic Crawler
Hệ thống thu thập dữ liệu thông minh từ
Facebook và Website.
Dữ liệu thu thập được lưu trữ dưới dạng Big
Data, hỗ trợ phân tích dữ liệu tốc độ cao.

11. Dynamic Crawler Platform
HỖ TRỢ FACEBOOK & WEBSITE
Chúng tôi xây dựng hệ thống Crawler thông
minh, có khả năng vượt qua rào cản của
Facebook và các mạng xã hội khác.
Nền tảng này sẵn sàng thu thập dữ liệu từ
Instagram, Twitter, LinkedIn, Youtube,
Google+

12. Dynamic Crawler Platform
THU THẬP THEO CHIẾN THUẬT
Cấu hình Crawler thực hiện thu thập dữ liệu
theo chiến thuật được định nghĩa theo yêu cầu.
Ví dụ: thu thập thông tin tất cả các thành viên
của một nhóm trên Facebook, thu thập thông
tin của từng thành viên, theo dõi hoạt động.

13. Dynamic Crawler Platform
FACEBOOK AUTOMATION KIT
Crawler được thiết kế hoạt động giống như
người thật.
- Post bài tự động.
- Comment tự động.
- Tương tác tự động.
- Chat tự động.

14. Dynamic Crawler Platform
01
Đơn giản
Chỉ vài thao tác cấu hình
đơn giản
02
Đa dạng
Mở rộng cho nhiều
nguồn
03 Nhanh chóng
Tác vụ chạy song song
04
Chính xác
Tập trung vào thông
tin cần lấy

15. Analysis Toolkit
Tập hợp rất nhiều các công cụ, thư viện cho
phép dễ dàng phát triển các ứng dụng phân
tích dữ liệu theo yêu cầu của khách hàng.

16. Analysis Toolkit
PHÂN TÍCH CẢM XÚC

17. Analysis Toolkit
BÀI VIẾT QUAN TRỌNG
- Phát hiện những bài Viết được quan tâm
nhất trên mạng xã hội.
- Phát hiện mức độ quan tâm theo chủ
đề/sự kiện.

18. Analysis Toolkit
NHÂN VẬT QUAN TRỌNG
- Phát hiện những người có ảnh hưởng trên
mạng xã hội.
- Phát hiện mức độ ảnh hưởng theo chủ
đề/sự kiện/lĩnh vực.

19. Analysis Toolkit
PHÂN TÍCH MỐI QUAN HỆ XÃ HỘI
- Lưu trữ mối quan hệ xã hội.
- Phát hiện, tìm kiếm, xác định các mối
quan hệ xã hội.

20. Analysis Toolkit
LẬP HỒ SƠ THÔNG TIN CÁ NHÂN
- Xác định các thông tin cá nhân: tên
Tuổi, điện thoại, địa chỉ, lịch sử hoạt động.

21. Analysis Toolkit
XÂY DỰNG CƠ SỞ TRI THỨC
- Biểu diễn dữ liệu theo cấu trúc ontology
mà Google đã xây dựng.
- Sử dụng trong bài toán phân tích ngữ
nghĩa, phân tích cảm xúc.

22. Application
Ứng dụng sẽ được phát triển theo yêu cầu
của khách hàng.
Dữ liệu phân tích được lấy từ Storage và Cơ
sở tri thức, công cụ phân tích dựa trên
Analysis Toolkit.

23. Deployed Application

24. Deployed Application
Ví dụ về một ứng dụng giải quyết yêu cầu như sau:
- Thu thập thông tin trên Internet về sự kiện Formosa.
- Tự động tìm kiếm tất cả các đối tượng trên Mạng xã hội tham gia phát biểu, tương tác
hoặc có ý kiến về sự kiện này.
- Tự động tìm kiếm các nhóm hoạt động trên Facebook có liên quan đến sự kiện này và
thu thập thông tin về thành viên hoạt động trên nhóm.
- Tự động tìm kiếm các đối tượng (cá nhân/tổ chức) gây ảnh hưởng trên Mạng xã hội về
chủ đề này, thu thập thông tin chi tiết.
- Tự động phát hiện đối tượng kích động biểu tình, dự đoán tên tuổi, vị trí, bạn bè và
nhiều thông tin nhất có thể về đối tượng.
- Hệ thống cảnh báo nhanh khi có sự cố: những chủ đề liên quan đến biểu tình, kích
động bạo lực.

25. Deployed Application

26. Deployed Application

27. Deployed Application

28. Deployed Application

29. Deployed Application

30. Deployed Application
Một số case studies khác có thể tham khảo tại:
www.1data.co

31. DEMO

32. People Monitoring
Kịch bản:
1. Yêu cầu: thu thập thông tin từ một tài khoản Facebook, lấy thông tin các mối quan
hệ (bạn bè), theo dõi hành động post bài. Cảnh báo nếu đối tượng này đối tượng này
post một bài trong nội dung có từ khóa.
2. Thiết kế ứng dụng:
2.1 Crawler: thiết kế kịch bản thu thập dữ liệu.
2.2 Storage: lưu trữ dữ liệu phục vụ phân tích: graph database, big data.
2.3 Analysis: cảnh báo theo từ khóa

33. People Monitoring
Smart
Crawler
Graph
Database
Monitor

34. Sentiment Analysis
Kịch bản:
1. Yêu cầu: theo dõi sự kiện Đồng Tâm trên mạng xã hội, phân tích cảm xúc của người
dân.
2. Thiết kế ứng dụng:
2.1 Crawler: định nghĩa kịch bản search tất cả các bài viết liên quan đến Đồng Tâm. Cấu
hình theo dõi đối tượng liên quan.
2.2 Storage: lưu trữ dưới dạng Big Data & Search Engine.
2.3 Analysis: phân tích cảm xúc (realtime) khi có người comment trên một bài viết.

35. Sentiment Analysis
Comment
& Post
REALTIME
Positive/
Negative

36. Sentiment Analysis
Tự động phát hiện cảm xúc trong các bài viết và bình luận
Dữ liệu tiếng Việt, free text, dài, phức tạp, kết quả phụ thuộc nhiều vào nhiều khía
cạnh
Như Phong nói rồi , nhà báo phải như con chó ấy .Lúc nào chủ cho sủa thì được sủa ,lúc nào bắt im thì
phải im . Bị cấm sủa việc trong nước thì cho nó sủa việc ngoài nước chứ sao.Điều này cũng tốt ,giúp
dân việt thấy được thiệt thòi của mình , đã không được bỏ phiếu thích hay không thích ông bà LĐ nào
đó , lại còn không được biểu tình khi ông bà đó làm LĐ .
Tao tưởng cứ ở HN rồi khi nào đi làm có xe đón chứ, về đấy thuê nhà ah?
Dân cần lắm những câu trả lời thẳng thắn của lãnh đạo nhà nước!
Mọi người cư tin vào sự lãnh đạo của đảng cộng sản việt nam,mọi việc làm của đảng
đều mang lại lợi ích cho dân,nếu không mang lại lợi ích cho dân ,cho nước thì đang sẽ
có quyết định đúng đắn

37. Hệ thống Sentiment Analysis
Thu thập dữ liệu Xử lý tiếng Việt
Học máy
Học sâu
Mô hình
gán nhãn
☑ Sử dụng Dynamic Crawler
☑ Dễ dàng cấu hình nguồn
tin, các thức thu thập, định
dạng trả về với đầy đủ thông
tin
☑ Dễ dàng cấu hình mở rộng
☑ Khôi phục dấu
☑ Xử lý tiếng lóng, viết tắt
☑ Tách từ, tách câu
☑ Nhận diện chủ thể
☑ Gán nhãn ngữ pháp, ngữ
nghĩa
☑ Mô hình eXtreme Gradient
Boosting
☑ Mô hình học sâu với Long
Short Term Memory
☑ Mô hình dùng luật
☑ Mô hình hỗn hợp
☑ Đảm bảo độ chính xác
☑ Tốc độ nhanh
☑ Dễ dàng cấu hình mở rộng

38. Kết quả Sentiment Analysis
Phát hiện câu NEGATIVE chính xác: 78%
Tiền ông cự ăn hối lộ chất thành núi, ở cái đất hà tĩnh này 6nơi nào có phong thủy đẹp thì nơi đó là of ông. Cả cái hà tĩnh này ai mà không biết ông tham ô hối lội hám
của hại dân. Đụng vào ông thì hết đường sống. Đên bao giờ việt nam mình mới không còn những con sâu con mọt đó nữa.đến bao giờ cán bộ mới yêu bảo vệ
nhân.
Cái đập thì lq đéo gì đến mấy thằng phò mu sa nhỉ ?
Chắc truyền thông vn đều bị tiêu ảy nên không tới Hà Tĩn đăng bài giật tít được
Du me Bon chó.hen voi giåc.mà ác voi dân.
Nói chung ở đây chỉ có người việt nam giết người việt mình thôi không ký bán đất cho nó thì làm sao mà biển bị nhiểm độc được,nểu có chiến tranh thì vác súng bán
mẹ mấy thằng cán bộ từ trung ương về đến tĩnh nhà
Phát hiện câu POSITIVE chính xác: 65%
Tôi có ý kiến như thế này đây là lợi ích chung của dân tộc nên mình nên nói chung chung kg nên phân biệt quá rõ ràng sẽ làm ảnh hưởng tinh thần và chia rẽ sức
mạnh của dân đối với những người kg theo tôn giáo
Tiếng trống năm 30 còn vọng đến bây giờ .Đất Xô Viết Nghệ Tĩnh thật anh hùng .
Nói 1 cách hài hước thì cũng đúng :))
Dân cần lắm những câu trả lời thẳng thắn của lãnh đạo nhà nước!
Tốc độ gán nhãn: 194 câu một giây

39. Facebook Automation Toolkit
Kịch bản:
1. Yêu cầu: yêu cầu hệ thống post hoặc comment tự động
2. Thiết kế ứng dụng:
2.1 Crawler: định nghĩa kịch bản (post, comment, like…) theo yêu cầu.
2.2 UI: người dùng có thể nhập nội dung.
2.3 Automation: thực hiện tự động các nội dung và hành động do người dùng định
nghĩa.

40. Facebook Automation Toolkit
Build
Content
Assign Job
Automation
Activities

41. Social Box v3
1DATA team
support@1data.vn
www.1data.co