情報分野での査読プロセスと必要な作業、期間、努力を具体的に説明する。日本語フォント埋め込み済み。

1. 新分野に飛び入って半年で業績を作るには
(その具体的な過程)
Masataro Asai
東大院 総合文化研究科 修士二年
May 3, 2014
To Start Press ”n”
WARN Turn off your custom keyboard shortcuts
1
1
Made by guicho2.71828 (Masataro Asai)
1

2. 1 去年の流れ
フルサイズ画像はこちら
2

3. • 赤い線が締め切り
• 単位は夏にとっておこう
• 研究のご利用は計画的に
• 論文は10月末に提出
• まとも な学会であるほ
ど 期限はめったに伸び
ない
• 最後の一ヶ月は論文と実
験
• 実装/アイディアはそれ
までに固める必要がある
3

4. 1.1 後半
4

5. • 研究の続きができたが、AAAIには間に合わないのでICAPS
の Workshopに出した
– まともな学会の付属ワークショップ
∗ 採択率が高いので 業績の価値は低い
∗ が、 Reviewの価値が高い
• 全体的に言って冬は死ぬほど忙しい気がする
• キーボードの触り過ぎで指が痛くなる
• いい入力・開発環境は必須
5

6. 2 ICAPS
採択率三割以下の国際会議2
• 査読付き(三人) 匿名
• 三人がポイントを与える
– 0点 – borderline paper
– 1点 – weak accept
– 2点 – strong accept
• 反論・訂正の機会あり
– 500語まで
• 自分の査読状況
– 一人目 – 0点
– 二人目 – 2点
– 三人目 – 1点
• 4点ほしい
• 点数順にソートさ
れて上位だけが採
択
2
参考 http://www.adaptivebox.net/CILib/CICON_stat.html
6

7. 2.1 一人目
• 以下は査読メールのコピー
• 査読は以下のように、要素ごとに様々な評価をしてくれる
• OVERALL EVALUATION は要素ごとのSum ではない
----------------------- REVIEW 1 ---------------------
PAPER: 43
TITLE: Fully Automated Cyclic Planning for Large-Scale Manufacturing D
AUTHORS: (anonymous)
OVERALL EVALUATION: 0 (borderline paper)
Novelty of problem addressed and/or solution proposed: 4 (good)
Technical and/or experimental quality: 3 (fair)
Breadth of interest to academics and/or practitioners: 3 (fair)
Really nice work, one of the more exciting papers I’ve reviewed
this year (will be considered for recognition): 1 (No)
Suitable for the system demonstration session?: 2 (Yes or maybe)
7

8. 2.2 レビュワによる要約
どのレビュワも、まずはじめに、論文の誤解がないか確認するた
め、自分で論文の要約を書いて載せる。
----------- REVIEW -----------
The authors model a manufacturing domain in which
a large number of items must be ...
----(7,8行)----
... their methods are comparable to a simple
batch order formulation.
8

9. 2.2.1 評価
その後、評価、問題点の指摘、質問が来る
. . . the result is a negative one – SCP (the competition)
vs. ACP except for Cell-Assembly 3a N=64 and Cell-
Assembly 3c N=64. And even then, SCP could be
easily improved with simple local search to remove the
slack between batches. The second more important issue
is that I think the paper is not very well-written.
About two pages is spent explaining type-inference. . .
Cutting this out would allow the authors to . . . termi-
nology is too loosely used . . . (略)
わかりにくい文章であったので文句は言えませんが、しかし
こういった重大な誤解が低い点数(0点=borderline)に結びついて
いる。悪い文章は読む人をイラツカせる上、無用の誤解を招く。
査読者も査読者で忙しく、なるべく読む時間を掛けたくない。
9

10. 2.3 二人目
----------------------- REVIEW 2 ---------------------
PAPER: 43
TITLE: Fully Automated Cyclic Planning for Large-Scale Manufacturing D
AUTHORS: (anonymous)
OVERALL EVALUATION: 2 (accept)
Novelty of problem addressed and/or solution proposed: 4 (good)
Technical and/or experimental quality: 4 (good)
Breadth of interest to academics and/or practitioners: 5 (excellent)
Really nice work, one of the more exciting papers I’ve reviewed this y
Suitable for the system demonstration session?: 2 (Yes or maybe)
10

11. 2.3.1 親切なコメント
Comments:
• I believe that a notation for the . . . would be useful. . . .
• There are four different notations . . . I believe they all refer to
the same process, but it is not clear.
• (Question 1) There is one thing I do not understand about . . . .
• typo paramters (two times) in PDDL code
一般に、 まともな学会のまともな査読 は、typoや文章構成を
含め細かく指摘してくれる。査読を受けることは、 非常にあり
がたい貴重なもの (これは、他の査読者も同様)
11

12. 2.4 三人目
----------------------- REVIEW 3 ---------------------
PAPER: 43
TITLE: Fully Automated Cyclic Planning for Large-Scale Manufacturing D
AUTHORS: (anonymous)
OVERALL EVALUATION: 1 (weak accept) ...
同様
12

13. 2.5 状況分析
時間がないのでまずは素早く状況確認3
• こちらの持っているもの
– 500語の文字制限
– 賢くない word counter
∗ ”Reviewer#1:Q3.What is . . . ”
∗ 最初の R から What の t まで一単語(笑)
• 状況
– 一人目 – あんまり読んでいない、誤解がある、etc
– 二人目 – 疑問を持っている
– 三人目 – 2点 なので放置
• 適切な反論(Rebuttal)をして、どうにかして点数を上げねば!
3
Rebuttal は Review が来た後の 4,5 日の間に書かないといけない。
13

14. 2.6 Rebuttal の書き方
Review通知メールに書いてある、「反論におけるルール」
The most effective author responses are those that respond
to specific points raised in the reviews and that
focus on clarifying specific points of misunderstand-
ing.
• 質問に答える。
• 誤解を解く。
• 余計なことをしない。
– 実際、500語では、無駄なことを書くスペースはない
14

15. 2.7 返信の重要性をクラス分け
Comments:
• . . .
• (Question 1) There is one thing I do not un-
derstand about . . . .
• (Question 2) ”enumerate all such possible pairs
” - it looks to me like . . . .
• . . .
明確に「質問」をしている。答えなくてはいけない
15

16. 2.8 字数制限
• 賢く 対処する必要がある。
• 適宜、省く
– 説明すると長くなるもの
– 今まで考えていなかった他分野への関連付け
• 重大な 誤解 を解く
– 「N=64までしか実験していない」 実際には 1024
• 重大な 疑念 を解消する
– アルゴリズムのCompleteness, Soundness
16

17. 2.9 結果
• 状況
– 一人目 – 1点
– 二人目 – 2点
– 三人目 – 1点
• 4点になり通った。
17

18. 3 ICAPS KEPS Workshop
• Workshop Paper = 論文をだせるが、正式な論文ではない
– 完成度の低い or 未完成4 の研究内容でも提出できる
– 採択率が高く査読が軽い(重い業績にならない)
– 後に、改善された同じ内容で本会議(メインの査読)に提
出できる。
• ICAPSの中の人が分会に別れて行う
– SPARK,HSDIP,PlanRob,KEPS
– レビュワは一流、 査読コメントの価値が高い
– コメントを参考に後に「完成版」を査読論文として出す
4
論文自体は未完成だとダメ。ストーリーや、実験結果の説得性における完成度
18

19. 3.1 Review 1
----------------------- REVIEW 1 ---------------------
PAPER: 1
TITLE: Applying Problem Decomposition to Extremely Large Planning Doma
AUTHORS: Masataro Asai and Alex Fukunaga
OVERALL EVALUATION: 3 (strong accept)
REVIEWER’S CONFIDENCE: 4 (high)
Relevance to KEPS: 5 (excellent)
Technical quality (are the claims sound and well supported?): 4 (good)
Clarity (is the paper easy to read?): 4 (good)
Novelty (is the presented idea novel?): 4 (good)
----------- REVIEW -----------
... The paper is generally well written. ...
けっこう嬉しみがヤバイ
19

20. 3.2 うれしみがヤバイのはいいけども
----------- REVIEW -----------
This is very interesting work looking at the automatic decomposition o
planning problems. Built on top of previous work such as component abs
cyclic planning, the contributions are solid, the scale of the test pr
one of the highlights. The work is well motivated and very relevant to
workshop. The paper is generally well written. I noticed a few typos,
method that try to reduce" (pp 1), "complete[Bylander, 1994] ," (pp 1
blank after complete, and remove blank before comma), and "tend to req
(pp 5).
• やはりレビューの量が査読よりかなり短い。
– 論文の主張している内容自体が少ないから
∗ 指摘できるところも少ない.
∗ (性能評価を示していない)
– ”light” な review
20

21. 3.3 Review 2
----------------------- REVIEW 2 ---------------------
PAPER: 1
TITLE: Applying Problem Decomposition to Extremely Large Planning Doma
AUTHORS: Masataro Asai and Alex Fukunaga
OVERALL EVALUATION: 2 (accept)
REVIEWER’S CONFIDENCE: 5 (expert)
Relevance to KEPS: 4 (good)
Technical quality (are the claims sound and well supported?): 4 (good)
Clarity (is the paper easy to read?): 4 (good)
Novelty (is the presented idea novel?): 4 (good)
21

22. 3.3.1 長い返信
———– REVIEW ———–
This paper describes. . . (要約)
The type of planning knowledge acquired by the techniques presented
in the paper is already used by HTN planners, most notable perhaps in
SHOP2 in the IPC-2002. . . . (40行ほど)
HTNプランナ系などの他のアイディアとの関連、HTNの自動
導出、などを強く示していただいた。
22

23. 3.4 Review 3
この方のレビューも興味深かった。
———– REVIEW ———–
This paper presents . . . (要約)
I like the paper, but have two questions that like to see answered in the
final version of the paper if it gets accepted:
• According to authors, the decomposition is good for the type of
problems such as cell-assembly, but . . . (ドメイン依存性はどう
なのか?)
• In the same line as above, what about the use of these techniques in
planning domains where the ’planning component’ is really hard. . .
(同様)
In conclusion, I think the paper can be accepted for KEPS.
23

24. 3.5 今後?
• KEPS Camera Ready の送信方法の連絡が来るはずらしいが、
一向にこない。
• ポスター発表プログラムについて返信するのを完全に忘れて
いた・・・。
24

25. 4 5月,人工知能学会全国大会
• 審査 – Abstractを送るだけ
– 通った
– 住所を入力し忘れていてわりと焦った
• 論文 – 英語でもいい(最初は日本語化が必要だと思っていた)
– TEXのスタイル変えるだけ!
– ページを9ページ から 4ページまで縮 Details omitted
due to space.
∗ バックグラウンドの説明や証明、例を少しず Details
omitted due to space.
∗ 結果の章はまるま Details omitted due to space.
• 3日ぐらいはかかるだろうと思っていたら、わりと一日で終
わった
25

26. 4.1 コピペ・・・いいの?
この場合は 研究倫理的に何ら問題がない
26

27. 4.2 第一の理由:業績でない
査読なし国内学会 = junk論文、業績ではない
• 業績ではない ので二重投稿,自己剽窃の問題はない
• 二重投稿の問題 = 新規性が一つなのに業績が2つになって
しまう
– これは業績の詐称
– 査読あり学会ではたいてい禁じる要項がある
• 注 workshop論文・発表
– 査読論文誌の業績で「上書き」することが認められる
– workshop = そういう目的で存在する会議
27

28. 4.2.1 査読なし国内学会の目的
• 国内研究者同士の交流、人脈
• 仮に国外に留学した場合、あとで国内のポストにつくために
はコネが必要
• 知識交換
28

29. 4.3 第二の理由:もとの論文が自分のものである
• もとの論文が自分のもの(ICAPS採択論文)である
– 人のものではない
• 仮に、国外で有名になったアイディアを国内に紹介するため
に発表するとしたら、その旨を明記する必要が在る
• 自分のものでも、もちろん明記する
– ふつうに考えれば、自分の業績論文の被引用数が増える
ので、明記したほうが得なのは当たり前
29

30. 5 研究のルールが理解できたら
• ばんばん研究しよう!
• 論文だそう! もちろん査読ありの 意味ある 論文誌に出そう。
• 出すにしても、 トップの学会に出そう 。
– ほんとうの意味での専門家がいない、微妙な学会に出し
たとしても、第三者から見て研究の信ぴょう性がない
– 査読なし論文はもってのほか
∗ ただし発表経験としては十分に意味が在る
• トップジャーナルの査読者は、 同時にその学会に論文を出
している研究者でもある
– 自分で出したものは同僚の査読者(匿名)が読む
– 本物の最先端の若い(3,40代)研究者は、比較的トップジ
ャーナルに集まっている
30

31. 6 付録:フルサイズ画像
31