2015/10/20のSelenium勉強会＠サイボウズの発表資料です。 http://connpass.com/event/20779/

1. SikuliX 知っていますか？
～見た目の感覚で操作できる自動化ツール～
小原増雄
（http://masuo.doorblog.jp ）

2. ■私のSikuli活用状況
• 出会ったのは３年前「どんな画面にも使える」と一目惚れ
⇒設備グラフィカル画面、X-Windowsのエミュレータ画面
• それ以来、自宅や仕事場で画面操作の自動化に利用
• 今年になってSeleniumと連携できることに気付き
⇒ブラウザの操作に挑戦中
• これからはSikuliの楽しさを多くの人に伝えたい！

3. ■龍馬を探せ
早速ですがデモです。
今から、歴史上の人物のイラストを表示します。
坂本龍馬 がいくつあるか？
５秒間で数えてみてください。

6. このように、Sikuliはスクリーン上の画像
を探します

7. ■Sikuliの特徴
•操作位置を画像で検索するところが一番の特徴
•画像はスクリプトの中にも現れる

8. ■ここが好き（簡単）
•環境構築が簡単
⇒Javaランタイムがあれば、セットアップコマンド実行だけでOK
⇒セットアップフォルダを移動しても動く
•操作位置を特定するid、XPathを知らなくていい
⇒ExtJSを使ったコンボボックスのXPathは・・・ (>_<)
•Pythonのdef、While、if elseを覚えたらすぐ書ける
（JythonとJRubyをバンドル、どちらでも選択可能、私はPython派）

9. ■ここが好き（感覚的に）
•操作位置を見た目で判断する感覚
•忠実に模擬してくれるマウスとキーボードの操作感
⇒ 『こういう操作がしたい』を実現してくれます。

10. ■Seleniumに対するイメージ
•ブラウザ操作の自動化ならSelenium
•本格的にやるならEclipsを使わなきゃだめか？
•Seleniumには興味があるけど、Eclipseなどの実行
環境を準備するのは大変そう。

11. ■SikuliからSeleniumの呼び出し
•使い慣れたSikuli IDEからSeleniumが使えるなら
•試していたらなんとか動作しました。
【気付き】
selenium-server-standalone-xxxx.jarの中に
WebDriverのAPIクラスライブラリが入っていて、この
jarファイルから必要なクラスをimportして、呼び出せ
ばいいんだ。

12. ■Yahoo! JAPANのトップページで検索する例
１行追加するだけで
使えるようになった！

13. SikuliからSeleniumを呼び出すことで、何か楽
しいことが起きそうだ、と期待しています。
それだけではなくて、SeleniumからSikuliを呼
び出すと、きっと今まで出来なかったことがで
きるようになるはず！
という思いを伝えたくて、今日ここに居ます。

14. ■ライブラリとしてのSikuliの活用
•皆様は、既にSeleniumをご利用中ですから、
ライブラリとしてのSikuliの活用を提案します。
•用途としては
1. 次の操作を開始するタイミングをとる
2. ブラウザ操作の途中でファイルをダウンロードする
3. プログラム変更に伴うレイアウトの崩れをチェックする

15. ■exists()で待つ
「名前を付けて保存」ダイアログを待つ例
while not exists( 画像 ):
wait(1)
click(画像):

16. ■exists()で判断
次の操作の分岐判断を見た目で判断する例
while not exists(条件1画像) and not exists(条件2画像):
wait(1)
if exists(条件1画像):
click( )
elif exists(条件2画像):
# 条件2処理

17. ■レイアウトの崩れをチェックする
不良：
正常：
現実的な例かどうかは別として、
チェックするコードを書いてみました。

18. ■Region() + exists()で判断
「レイアウトの崩れをチェックする」のコードです

19. ■SikuliXに無い機能
•操作の記録
•ブレークポイントの設定
•合否判定・テスト結果
⇒テストに利用するためには、いろいろ仕掛けが必要

20. ご清聴ありがとうございました
Seleniumの使い手である皆さまから、
いろいろなご意見・ご感想を
いただければ幸いです。