Recommended
More Related Content
Featured
Featured (20)
みんなのプログラミング勉強会 #01
- 4. コミュニケーションとは何か(2) ❖ すべての「システム」はコミュニケーシ ョンによって維持されている ❖ 「システム」とは「状態」を持つ「固体 」の集合体 ❖ 社会(人間の集合)，自然(生物，無生物 の集合) ❖ システムの状態は常に変化する ❖ コミュニケーションとフィードバックに よってシステムが適応し，維持される ❖ よりよい適応 = 学習 システム システム
- 8. コンテクストとドメイン • コンテクスト • 説明 • 意味を拘束する追加の情報 • ドメイン • 場 • この「場」でコードと言えばPythonのプログラム • ドメインは説明を伴わないコンテクスト
- 17. 手順と数字
- 18. 数字と計算による条件分岐 降水 確率 50%を 超える Yes No 傘を 持つ 持た ない x x - 50 0超 → 〇 0以下 → × if x - 50 > 0: 傘を持つ() if x > 50: 傘を持つ() x <= 50なら，手順 を飛ばす(この場合は 1行)。
- 19. 数字でないものを 数字として扱う
- 20. 文字を数字にする 対応が 決まっている （国際規格) 112,121,116,104,111,110 python a b c 97 98 99 “ “ 文字列 数値列 符号化
- 24. 検索 twinkle, twinkle, little star, how i wonder what you are! up above the world so high, Like a diamond in the sky. twinkle, twinkle, little star, how i wonder what you are! when the blazing sun is gone, When he nothing shines upon. then you show your little light, twinkle, twinkle, all the night. twinkle, twinkle, little star, how i wonder what you are! 検索 …up above the world so high, Like a diamond in the sky… the 先頭から一文字ずつ文字列検 索する
- 25. 並べ替え Alice Bob Chris Christle Alice Bob Chris Christle 符号化した数を比較して並べ 替え 先頭が同じなら，二文字以降 を同様に比較 (ループ)
- 27. 符号化のいろいろ a b c 97 98 99 ASCII 吉 田 加 211523000021513 ユニコード(UTF8)
- 29. コンピュータの文字列処理 基本 : 文字を符号化した数値データに対する処理 演算(計算) 比較 統計処理 暗号 通信 (エラー補正) 一致 検索 型変換 テキスト マイニング 機械学習 (自然言語処理) 重要
- 31. DNA解析 • ヒトDNAの塩基対は30億 • AGCTの4種類の文字で表される • 必ずA-T，G-Cの対になる • タンパク質を作るための設計図と，いつ，どこで作るかを表現した記号でできている • 皮膚や筋肉だけでなく，ホルモン，酵素，神経伝達物質など様々な「部品」にな る • 物質としてのDNAを文字に「符号化」し，特定の文字列(AGCTの組み合わせ)に一致 する部分を探し出すことで，タンパク質を作っている部分を特定できる • 符号化とコンピュータを組み合わせると，この処理を高速に実行できる
- 32. 文字データの統計処理 • 文字で構成されたデータはなんでも符号化できる • 小説，論文，手紙，メール文，etc. • 文字の符号化データ自体は，計算したり統計処理をし てもあまり役に立たない ちなみに，文字の使用頻度に は「かたより」があることが 知られています。
- 33. テキストマイニング • 文字ごとの統計では面白い結果が出てこない • 文字を「まとめて」単語レベルでデータ処理すると少し面白くな る • 単語を検索して数を数える -> 文章中にどの単語がどのくらい表れ るか，「頻度」を計算する Twinkle, twinkle, little star, How I wonder what you are! Up above the world so high, Like a diamond in the sky. Twinkle, twinkle, little star, How I wonder what you are! When the blazing sun is gone, When he nothing shines upon. Then you show your little light, Twinkle, twinkle, all the night. Twinkle, twinkle, little star, How I wonder what you are! “the”が 4つある
- 34. テキストマイニング(2) • 1968年，研究者がシェークスピアの著作について，単語 の出現頻度を調査(88万語，3万種類の単語から) • 1976年，二人の統計学者が，頻度表を元に彼の語彙数を 推定(約65,000語) • 1985年，オックスフォード大学でシェークスピアと同年 代，作者不詳の詩が発見される • 語彙を調べたのと同じ手法を使って，詩がシェークスピ アのものであることを推定
- 40. セルの操作 列(row)→ 行(column)→ sheet row column value sheet value または 複数行をまとめて 処理したい 繰り返し (ループ) セル結合は悪！ プログラムで処理しづらくなる セル位置は数字，または 英数と同じ セル位置の符号化
- 42. プログラム作るの面倒ですか？ • 日時の売り上げデータが300個のエクセルファイルにある • これを集計する必要がある • 毎日10分かかるエクセルの作業がある • 年間200日勤務として，2000分 = 33時間！ • 自動化して浮いた時間は他の仕事をさせられる？ • こっそりやればいいのです • 浮いた時間は「学習」に当てて下さい
- 43. 手作業が好きな人のイメージ
- 44. 1960年代のテキストマイニング • シェイクスピア著作から，単語の出現頻度を調べた(統計 調査) • 彼の著作は88万語あり，基本手作業 • パート(おもに女性)を雇い，人海戦術で単語を調査 • 3万の単語が使われていたことがわかり，頻度も判明 • 時間と人件費が(ものすごく)かかる
- 45. 令和時代のテキストマイニン グ
- 50. 範囲の選択 soup = BeautifulSoup(r.content, "html.parser") today = soup.find(id=“today_weather”) weather = today.p.string # 今日の天気 = 曇りのち雨
- 52. 同じ
- 53. スクレイピングとは • Webサイトから必要なデータを抽出する作業の自動化 • Webサイトのデータを文字データとして扱う • 文字データから，必要なデータを「検索」して「抽出」 • 必要なデータの近くにある文字列に注目(id, class) • 文字列を使ってデータを「検索」 • 必要な部分のみを「抽出」 • サイトの構造が同じなら，同じ手順で数多くのデータを一括抽出できる
- 57. ヤバい数値化 • 自動運転が実用化された近未来 • 自動運転車が死亡事故を起こす • 保険金で和解 金額 自動運転技術の成熟 自動運転によってもた らされる利益 事故補償に必要な 保険金額 実用化！
- 58. 数値化しずらいもの • 生命(とりわけ人間の) • 観念的な概念 • 感情，幸福，正義/悪，etc. • 無理に数値化しようとすると大きな齟齬(そご)が生まれる ことがある • ex. 成果主義の功罪