20130126

1. Linked Open Data基礎
LODI 加藤文彦
横浜オープンデータハッカソン, 2013-01-26
1

2. Linked Data
• Web技術でデータを公開・共有・統合
するためのベストプラクティス
• "データのWeb"
• HTTP, IRI, リンク, グラフモデル, 構
造化データ
2

3. Webの原則
1. IRIをHTML文書の識別
子として使う
2. IRIにはhttpスキームを
使う
3. IRIを見るとHTML文書
が返ってくる
4. HTML文書には他のIRI
へのリンクがある
3

4. Linked Dataの原則
1. IRIをモノ(Thing)の識
別子として使う
執筆
2. IRIにはhttpスキームを 子供
発行日
使う
誕生日
出版社
3. IRIを見るとモノのデー
所在地
タが返ってくる
4. データには他のIRIへの
型付リンクがある "Things,
not
Strings"
by
Google
4

5. Linked Open Data
1. オープンライセンス
2. 構造化データ
3. オープンな形式
4. IRIによる識別 / W3C標準
5. 他データへのリンク
5

6. Linked
Data Open
Data
(データのWeb) (オープンライセンス)
RDF
(グラフデータモデル)
6

7. 執筆
子供
発行日
誕生日
出版社
所在地
7

8. 執筆
子供
発行日
誕生日
出版社
所在地
8

9. グラフのシリアライズ形式
• Turtle (N3)
• JSON-LD
• RDFa
• Microdata
• RDF/XML
• TriX
• TriG
• ......
9

10. Linked
LOV User Slideshare tags2con
Audio
Feedback 2RDF delicious
Moseley Scrobbler Bricklink Sussex
Folk (DBTune) Reading St.
GTAA
Magna- Lists Andrews
Klapp-
tune stuhl- Resource NTU
DB club Lists Resource
Tropes Lotico Semantic yovisto
John Music Man- Lists
Music Tweet chester
Hellenic Peel Brainz NDL
(DBTune) (Data Brainz Reading
subjects
FBD (zitgist) Lists Open
EUTC Incubator) Linked
Hellenic Library Open t4gm
Produc- Crunch-
PD Surge RDF info
tions
Discogs base Library
Radio Ontos Source Code
Crime ohloh Plymouth (Talis)
(Data News LEM
Ecosystem Reading RAMEAU
Reports business Incubator)
Crime data.gov. Portal Linked Data Lists SH
UK Music Jamendo
(En- uk
Brainz (DBtune) LinkedL
Ox AKTing) FanHubz gnoss ntnusc
(DBTune) SSW CCN
Points Thesau-
Last.FM Poké- Thesaur
Popula- artists pédia Didactal us rus W LIBRIS
tion (En- (DBTune) Last.FM ia theses. LCSH Rådata
reegle research patents MARC
AKTing) (rdfize) my fr nå!
data.gov. data.go Codes
Ren.
NHS uk v.uk Good- Experi-
Classical List
Energy (En- win flickr ment
(DB Pokedex Norwe-
Genera- AKTing) Mortality BBC Family wrappr Sudoc PSH
Tune) gian
(En-
tors Program MeSH
AKTing) semantic
mes BBC IdRef GND
CO2 educatio OpenEI web.org SW
Energy Sudoc ndlna
Emission n.data.g Music Dog VIAF
EEA (En- Chronic- Linked
(En- ov.uk Portu- Food UB
AKTing) ling Event MDB
AKTing) guese Mann- Europeana
BBC America Media
DBpedia Calames heim
Ord- Recht- Wildlife Deutsche
Open Revyu DDC
Openly spraak. Finder Bio- lobid
Election nance
legislation Local nl RDF graphie
Resources NSZL Swedish
Data Survey Tele- data Ulm
EU New Book
Project data.gov.uk graphis bnf.fr Catalog Open
Insti- York
URI Open Mashup Cultural
tutions Times Greek P20
UK Post- Burner Calais Heritage
codes DBpedia ECS Wiki
statistics lobid
GovWILD data.gov. Taxon iServe South- Organi-
LOIUS BNB
Brazilian
uk Concept ECS ampton sations
Geo World OS BibBase STW GESIS
Poli- ESD South- ECS
Names Fact- (RKB
ticians stan- reference ampton
data.gov.uk book Freebase Explorer) Budapest
dards data.gov. NASA EPrints
uk intervals Project OAI
Lichfield transport (Data DBpedia data
Guten- Pisa
Spen- data.gov. Incu- dcs RESEX Scholaro-
ISTAT ding bator) Fishes berg DBLP DBLP
uk Geo
meter
Immi- Scotland of Texas (FU (L3S)
Pupils & Uberblic DBLP
gration Species Berlin) IRIT
Exams Euro- dbpedia data- (RKB
London TCM ACM
stat lite open- Explorer) NVD
Gazette (FUB) Gene IBM
Traffic Geo ac-uk
Scotland TWC LOGD Eurostat Daily DIT
Linked UN/
Data UMBEL Med ERA
Data LOCODE DEPLOY
Gov.ie CORDIS YAGO New-
lingvoj Disea-
(RKB some SIDER RAE2001 castle LOCAH
CORDIS Explorer) Linked Eurécom
Eurostat Drug CiteSeer Roma
(FUB) Sensor Data
GovTrack (Ontology (Kno.e.sis) Open Bank Pfam Course-
Central) riese Enipedia
Cyc Lexvo LinkedCT ware
Linked PDB
UniProt VIVO
EURES EDGAR dotAC
US SEC Indiana ePrints IEEE
(Ontology totl.net
(rdfabout)
Central) WordNet RISKS
(VUA) Taxono UniProt
US Census EUNIS Twarql HGNC
Semantic Cornetto (Bio2RDF)
(rdfabout) my VIVO
FTS XBRL PRO- ProDom STITCH Cornell LAAS
SITE KISTI NSF
Scotland
Geo- GeoWord LODE
graphy Net WordNet WordNet JISC
(W3C) (RKB
Climbing
Linked Affy- KEGG
SMC Explorer) SISVU Pub VIVO UF
Piedmont GeoData metrix Drug
ECCO-
Finnish Journals PubMed Gene SGD Chem
Munici-
Accomo- El AGROV Ontology TCP Media
dations Alpine bible
palities Viajero OC
Ski ontology
Tourism KEGG
Ocean
Austria
Enzyme PBAC Geographic
Metoffice GEMET ChEMBL
Italian Drilling OMIM KEGG
Weather Open
public Codices AEMET Linked MGI Pathway
schools Forecasts
Data
Open InterPro GeneID Publications
EARTh Thesau- KEGG
Turismo
rus Colors Reaction
de
Zaragoza Product Smart KEGG
User-generated content
Weather DB Link Medi Glycan
Janus Stations Product Care KEGG
AMP UniParc UniRef UniSTS Government
Types Italian
Homolo Com-
Yahoo! Airports Museums pound
Ontology Google
Gene
Geo Art
Planet National
wrapper
Chem2 Cross-domain
Radio- Bio2RDF
activity UniPath
JP Sears Open Linked OGOLOD way
Life sciences
Corpo- Amster- Reactome
dam medu- Open
rates Numbers
Museum cator
As of September 2011
Linking Open Data cloud diagram, by Richard Cyganiak and Anja Jentzsch. http://lod-cloud.net/
10

11. http://dbpedia.org
11

12. http://dbpedia.org/resource/Yokohama
12

13. http://wiki.dbpedia.org/Internationalization/Chapters
13

14. http://ja.dbpedia.org
14

15. http://ja.dbpedia.org/resource/横浜市
15

16. DBpediaのIRI設計
HTML表現 http://ja.dbpedia.org/page/横浜市
"横浜市"のIRI
http://ja.dbpedia.org/resource/横浜市
http://ja.dbpedia.org/data/横浜市
データ表現
cf. http://www.w3.org/TR/cooluris/
16

17. HTML表現 http://ja.dbpedia.org/page/東京都
"東京都"のIRI
http://ja.dbpedia.org/resource/東京都
http://ja.dbpedia.org/data/東京都
データ表現
% curl -IH 'Accept: text/html' http://ja.dbpedia.org/resource/横浜市
TTP/1.1 303 See Other
Server:Virtuoso/06.01.3127 (Linux) x86_64-unknown-linux-gnu
Connection: close
Content-Type: text/html; charset=UTF-8
Date: Fri, 25 Jan 2013 03:43:38 GMT
Accept-Ranges: bytes
Link: <http://mementoarchive.lanl.gov/dbpedia/timegate/http://ja.dbpedia.org/resource/横浜市>; rel="timegate"
Location: http://ja.dbpedia.org/page/横浜市
Content-Length: 0
17

18. HTML表現 http://ja.dbpedia.org/page/東京都
"東京都"のIRI
http://ja.dbpedia.org/resource/東京都
http://ja.dbpedia.org/data/東京都
データ表現
% curl -IH 'Accept: text/n3' http://ja.dbpedia.org/resource/横浜市
HTTP/1.1 303 See Other
Server:Virtuoso/06.01.3127 (Linux) x86_64-unknown-linux-gnu
Connection: close
Date: Fri, 25 Jan 2013 03:44:13 GMT
Accept-Ranges: bytes
TCN: choice
Vary: negotiate,accept
Content-Location: /data/横浜市.n3
Content-Type: text/n3; qs=0.8
Link: <http://mementoarchive.lanl.gov/dbpedia/timegate/http://ja.dbpedia.org/resource/横浜市>; rel="timegate"
Location: http://ja.dbpedia.org/data/横浜市.n3
Content-Length: 0
18

19. FAQ
Q. DBpedia に〇〇がない
19

20. FAQ
Q. DBpedia に〇〇がない
A. Wikipediaに書け
20

21. FAQ
Q. DBpedia に〇〇の位置情報がない
21

22. FAQ
Q. DBpedia に〇〇の位置情報がない
A. Wikipedia 編集しろ
22

23. FAQ
Q. DBpedia に〇〇の型やリンクがない
23

24. FAQ
Q. DBpedia に〇〇の型やリンクがない
A. DBpedia Mappings Wiki編集しろ
http://mappings.dbpedia.org
24

25. FAQ
Q. 〇〇編集したけどないんだよ！
25

26. FAQ
Q. 〇〇編集したけどないんだよ！
A. 現状不定期更新．正直スマン．今年度
中にWikipediaダンプが更新されたら自
動更新されるようになる予定
26

27. http://linkedgeodata.org
27

28. http://linkedgeodata.org/triplify/node355845257
28

29. 29

30. 30

31. FAQ
Q. LinkedGeoData に〇〇がない
31

32. FAQ
Q. LinkedGeoData に〇〇がない
A. OpenStreetMap 編集(ry
32

33. クエリ言語
• データの検索や操作を行うための言語
• データモデルやDBシステムに合わせて設計
• 例: SQL
– データモデル: 関係モデル
– DBシステム: RDBMS
• LODのデータモデル: グラフモデル
33

34. グラフのクエリ
• グラフの最小単位: 3つ組 (トリプル)
dbpedia-­‐owl:country
dbp:東京都 dbp:日本
• グラフパターン
1. 完全一致
• dbp:東京都 dbp-owl:country dbp:日本 .
2. 変数によるパターンマッチ
• dbp:東京都 dbp-owl:country ?country .
3. 1と2の組み合わせ
34

35. 好き嫌いグラフ
:Amy :like :like
:Bob :Cathy
:dislike
:like
:Dan :dislike :Flo
:dislike :Ed
:dislike :dislike
:Gil
:like :Ian
:like
:Jim :Hal :like
:dislike :Kate :dislike :May
:like :Lee
:dislike
35

36. Amyが好きな人
グラフパターン
:Amy
:like
?person
.
:Amy :like :like
:Bob :Cathy
:dislike
:like
:Dan :dislike :Flo
:dislike :Ed
:dislike :dislike
:Gil
:like :Ian
:like
:Jim :Hal :like
:dislike :Kate :dislike :May
:like :Lee
:dislike
36

37. Amyが好きな人 が好きな人
グラフパターン
:Amy
:like
?person1
.
?person1
:like
?person2
.
:Amy :like :like
:Bob :Cathy
:dislike
:like
:Dan :dislike :Flo
:dislike :Ed
:dislike :dislike
:Gil
:like :Ian
:like
:Jim :Hal :like
:dislike :Kate :dislike :May
:like :Lee
:dislike
37

38. SPARQL
• LOD用クエリ言語
– データモデル: RDF (ラベル付き有向グラフ)
– プロトコル: HTTP
• W3C仕様
– 1.0: Recommendations
– 1.1: Working Drafts
38

39. SPARQLエンドポイント
• SPARQLクエリを受け付ける場所
– SPARQLエンドポイントURI
• プログラムからSPARQLを使うときに指定
– 入力フォームがある場合もあり
39

40. DBpedia Japanese
SPARQLエンドポイント
40

41. DBpedia Japaneseのグラフ例
サイボーグ009 dbp-­‐owl:Comics
rdfs:label rdf:type
dbp-­‐owl:AdministraMveRegion
dbp:サイボーグ009
rdf:type dbp-­‐owl:
dbp-­‐owl:notableWork ComicsCreator
rdfs:label dbp:宮城県 rdf:type
dbp-­‐owl:birthPlace
dbp:石ノ森章太郎
宮城県 rdf:type foaf:Person
dbp-­‐owl:leaderName
dbp-­‐prop:生年 rdfs:label dbp-­‐owl:award
dbp:村井嘉浩
1938 dbp:手塚治虫
石ノ森章太郎 文化賞
41

42. クエリ:
石ノ森章太郎の出身地
PREFIX
dbp:
<hYp://ja.dbpedia.org/resource/>
PREFIX
dbp-­‐owl:
<hYp://dbpedia.org/ontology/>
SELECT
?birthPlace
WHERE
{
dbp:石ノ森章太郎
dbp-­‐owl:birthPlace
?birthPlace
.
}
サイボーグ009 dbp-­‐owl:Comics
rdfs:label rdf:type
dbp-­‐owl:AdministraMveRegion
dbp:サイボーグ009
rdf:type dbp-­‐owl:
dbp-­‐owl:notableWork ComicsCreator
rdfs:label dbp:宮城県 rdf:type
dbp-­‐owl:birthPlace
dbp:石ノ森章太郎
宮城県 rdf:type foaf:Person
dbp-­‐owl:leaderName
dbp-­‐prop:生年 rdfs:label dbp-­‐owl:award
dbp:村井嘉浩
1938 dbp:手塚治虫
石ノ森章太郎 文化賞
42

43. 43

44. PREFIX
dbp:
<hYp://ja.dbpedia.org/resource/>
PREFIX
dbp-­‐owl:
<hYp://dbpedia.org/ontology/>
SELECT
?birthPlace
WHERE
{
dbp:石ノ森章太郎
dbp-­‐owl:birthPlace
?birthPlace
.
}
• SELECT:
取得したい変数を指定
• SELECT
*
は全ての変数指定と同等
• 結果形式:
XML,
JSON,
CSV,
TSV,
...
• WHERE:
{}内にグラフパターンの組み合わせを記述
• LIMIT:
件数の制限
• 100だと1-­‐100まで取得
• LIMITがない場合は全件取得
• 量が多い場合はサーバに負荷をかけるので注意
• PREFIX:
URIを短縮して記述するための仕組み
• dbp:東京都
=
<hYp://ja.dbpedia.org/resource/東京都>
44

45. クエリ:
手塚治虫文化賞を受賞した漫画家
PREFIX
dbp:
<hYp://ja.dbpedia.org/resource/>
PREFIX
dbp-­‐owl:
<hYp://dbpedia.org/ontology/>
SELECT
?creator
WHERE
{
?creator
rdf:type
dbp-­‐owl:ComicsCreator
;
dbp-­‐owl:award
dbp:手塚治虫文化賞
.
}
サイボーグ009 dbp-­‐owl:Comics
rdfs:label rdf:type
dbp-­‐owl:AdministraMveRegion
dbp:サイボーグ009
rdf:type dbp-­‐owl:
dbp-­‐owl:notableWork ComicsCreator
rdfs:label dbp:宮城県 rdf:type
dbp-­‐owl:birthPlace
dbp:石ノ森章太郎
宮城県 rdf:type foaf:Person
dbp-­‐owl:leaderName
dbp-­‐prop:生年 rdfs:label dbp-­‐owl:award
dbp:村井嘉浩
1938 dbp:手塚治虫
石ノ森章太郎 文化賞
45

46. 46

47. クエリ:
手塚治虫文化賞を受賞した漫画家の代表的な漫画
PREFIX
dbp:
<hYp://ja.dbpedia.org/resource/>
PREFIX
dbp-­‐owl:
<hYp://dbpedia.org/ontology/>
SELECT
?creatorName
?comicName
WHERE
{
?creator
a
dbp-­‐owl:ComicsCreator
;
dbp-­‐owl:award
dbp:手塚治虫文化賞
;
dbp-­‐owl:notableWork
?comic
;
rdfs:label
?creatorName
.
?comic
a
dbp-­‐owl:Comics
;
rdfs:label
?comicName
.
}
サイボーグ009 dbp-­‐owl:Comics
rdfs:label rdf:type
dbp-­‐owl:AdministraMveRegion
dbp:サイボーグ009
rdf:type dbp-­‐owl:
dbp-­‐owl:notableWork ComicsCreator
rdfs:label dbp:宮城県 rdf:type
dbp-­‐owl:birthPlace
dbp:石ノ森章太郎
宮城県 rdf:type foaf:Person
dbp-­‐owl:leaderName
dbp-­‐prop:生年 rdfs:label dbp-­‐owl:award
dbp:村井嘉浩
1938 dbp:手塚治虫
石ノ森章太郎 文化賞
47

48. 48

49. SPARQL 1.0
• データ取得・検索
– SELECT
– ASK
– CONSTRUCT
– DESCRIBE
• どこでもほぼ使用可能
49

50. SELECT
例) 任意の3つ組を100件取得
SELECT ?s ?p ?o
WHERE {
?s ?p ?o .
}
LIMIT 100
50

51. ASK
• ASK:
グラフパターンにマッチするものがあるか
• 結果yes
か
no
例)
石ノ森章太郎の出身地が含まれているかどうか
PREFIX
dbp:
<hYp://ja.dbpedia.org/resource/>
PREFIX
dbp-­‐owl:
<hYp://dbpedia.org/ontology/>
ASK
WHERE
{
dbp:石ノ森章太郎
dbp-­‐owl:birthPlace
?birthPlace
.
}
51

52. CONSTRUCT
• CONSTRUCT:
新しいグラフを作成して取得
• 結果形式:
RDF/XML,
Turtle,
…
例)
foaf:nameプロパティの3つ組をそのまま取得
PREFIX
foaf:
<hYp://xmlns.com/foaf/0.1/>
CONSTRUCT
{
?s
foaf:name
?o
.
}
WHERE
{
?s
foaf:name
?o
.
}
52

53. DESCRIBE
• DESCRIBE: リソースに関するグラフを取得
• 実装依存
• 多くの場合は対象リソースを直接含む3つ組の集合
• 結果形式: RDF/XML, Turtle, …
例) http://ja.dbpedia.org/resource/横浜市に関するグラフを取得
DESCRIBE <http://ja.dbpedia.org/resource/横浜市>
53

54. SPARQL 1.1
• データ作成・更新・削除
‒ INSERT / UPDATE / DELETE / LOAD /
DROP
• 様々な機能追加
‒ プロパティパス，集約，条件，数値関数，文字列
関数，サブクエリ，Federatedクエリなど
• 実装に差あり
54

55. SPARQL Endpointリスト
• http://www.w3.org/wiki/SparqlEndpoints
• http://ckan.net/dataset?res_format=api
%2Fsparql&q=sparql
• http://labs.mondeca.com/sparqlEndpointsStatus/
55

56. http://thedatahub.org/dataset?res_format=api%2Fsparql
56

57. 公開SPARQLエンドポイント
の状態確認サイト
http://labs.mondeca.com/sparqlEndpointsStatus/
57

58. http://lod.ac/apps/lodac_location/
58

59. SPARQLクエリ例
• https://docs.google.com/
document/d/1P-
bZzbuEevNxEuAfjpcARxagVJf1ajuC
-aDUabJ-Sw0/edit
59

60. ツール・ライブラリまとめ
http://linkeddata.jp/wiki/ツール
60