データ構造とアルゴリズム

第十一回 (2010年12月17日)

動的計画法

http://www.sw.it.aoyama.ac.jp/2010/DA/lecture11.html

Martin J. Dürst

© 2009-10 Martin J. Dürst 青山学院大学

目次

• これからの予定
• 前回の残り・まとめ
• アルゴリズムの設計方針
• 動的計画法の概要
• 応用例: 行列の連鎖乗算の順番
• Ruby による動的計画法
• 宿題

これからの予定

• 1月 7日 (金): 12回目の授業
• 1月14日 (金): 13回目の授業
• 1月18日 (火曜日1限、補講): 14回目の授業
• 1月20日~2月2日: 期末試験

補講についての注意

前回の残り・まとめ

アルゴリズムの設計方針

• 総当たり方 (腕力方、虱潰し、brute force)
• 貪欲アルゴリズム (greedy algorithm)
  部分的な選択で最適な解を得る
• 分割統治法 (divide and conquer)
  重複しない部分問題に分割
• 動的計画法 (dynamic programming)
• ネットワークフロー (network flow)
  コストをグラフ上に移動しながら最適化

動的計画法の概要

(dynamic programming)

• (最適) 解の構造を調査、明記
• (最適) 解の値を再帰的に定義
• ボトムアップで (最適) 解の値を算出
• 計算した情報から (最適) 解を構築

動的計画法の単純な例

• フィボナッチ関数 f(n) (n は 0 以上の整数):
  • n ≦ 1: f(n) = n
  • n ≧ 2: f(n) = f(n-1) + f(n-2)
• 再帰的な定義のため、実装が簡単
• n が大きくなると実行が非常に遅い
• 計算の順番を変えると加速
• 順番を変える代わりに、途中結果の記憶も可能

行列の乗算

• r₀ × r₁ の行列 ₀M₁ と
• r₁ × r₂ の行列 ₁M₂ の乗算 (₀M₁· ₁M₂ ⇒ ₀M₁M₂) の結果は
• r₀ × r₂ の行列 ₀M₂
• 乗算の計算量は r₀r₁r₂ の掛け算と
  r₀(r₁-1)r₂ の足し算で O(r₀r₁r₂)

三行列の連鎖乗算

• 三つ (以上) の行列の乗算:₀M₁· ₁M₂ · ₂M₃
• 行列の乗算において結合律が成立
• 順番は複数:₀M₁· (₁M₂ · ₂M₃) 又は (₀M₁· ₁M₂) · ₂M₃
  (即ち、₀M₁M₃ 又は ₀M₂M₃)
• r₀=100, r₁=2, r₂=200, r₃=3 の場合、
  それぞれの順番の場合の掛け算の数:
  ₀M₁· (₁M₂ · ₂M₃): 2×200×3 + 100×2×3 = 1,800
  (₀M₁· ₁M₂) · ₂M₃: 100×2×200 + 100×200×3 = 100,000

乗算の順番の数

• 最初少なく見えるが、爆発
• パスカルの三角形の真ん中の数 (1, 2, 6, 20, 70,...)
  を整数 (1, 2, 3, 4, 5,...) で割ったもの
• カタラン数 (Catalan number)
  C_n = (2n)!/(n!(n+1)!)
  = Ω(4ⁿ/n^3/2)
  
• 応用が豊富:
  • 括弧対の組み合わせの数
  • 二分木の数
  • (凸) 多角形の三角分割

乗算の最適な順番

• 総当たりで決めるのが無理
• 最低の計算コスト (スカラ乗算の数、足し算は無視):
  • mincost(a, c) は _aM_c の最低の計算コスト
  • mincost(a, c) = 0 if a+1 ≧ c,
  • mincost(a, c) = min_b (cost(a, b, c))
    if a+1 < c (ただし、a<b<c)
  • cost(a, b, c): _aM_c の計算を _aM_bM_c で行うときのコスト (b は分岐点)
  • cost(a, b, c) = mincost(a, b) + mincost(b, c) + r_ar_br_c

最適化の順番と途中結果の記憶

• mincost(0, n) から再帰的に計算が可能 (下向き、トップダウン、top-down)
• 同じ mincost(x, y) が何回も計算される
• 下から計算 (上向き、ボトムアップ、bottom-up):
  • 長さ k (k が順番に 2,...,n) の連鎖乗算の最低コストを計算
  • 計算結果を記憶、再利用
• Ruby による実装: Bmatrix.rb

計算の実例

連鎖乗算の最適化の計算量

• mincost(a, c) の計算量は O(c-a)
• 全ての mincost(a, a+k) はO((n-k)·k)
• 合計の計算量は ∑ⁿ_w=1 O((n-k)·k) = O(n³)

動的計画法では問題によって O(n³), O(n²), O(n),
O(nm) 等さまざまな計算量

動的計画法の概要 (再確認)

• (最適) 解の構造を調査、明記
• (最適) 解の値を再帰的に定義
• ボトムアップで (最適) 解の値を算出
• 計算した情報から (最適) 解を構築

動的計画法の基本要素

• 部分構造の最適性 (optimal substructure)
  全体の (最適) 解が部分問題の (最適) 解から構築可能
• 部分問題の重複 (overlapping subproblems)
• 履歴管理 (memoization)

Ruby による履歴管理

• 関数の変更:
  • 引数をキーに結果をハッシュ等に記録
  • 実際の計算の前に記録を確認、使用
• この技法は memoize と言う
• Ruby ではメタプログラミングによって実装可能
• 簡単な応用例: Bfibonacci.rb

まとめ

• 動的計画法はアルゴリズムの設計方針の一つ
• 全体の買いが部分の会から得られるが、部分が重複するのが特徴
• 計算量は問題の構造によって異なる

宿題 (レポート)

提出: 1月6日 (木) 19:00、O棟 529号室の前の箱; 3ページ程度; A4 両面左上ホチキス止め; 名前と学籍番号は一ページ目上部に記載 (表紙無し)

動的計画法のアルゴリズムで解決できる問題を調べ、その問題においての動的計画法のアルゴリズムを説明しなさい。

アルゴリズムの選び方: 8桁の学生番号を g として g%7 で下記のリストから選ぶ。
例: 15809099 % 7 = 5 ⇒ Algorithm by Knuth and Plass for line-breaking

0. Longest common subsequence

1. Longest increasing subsequence

2. Longest common substring

3. Levenshtein distance

4. Floyd-Warshall algorithm

5. Algorithm by Knuth and Plass for line-breaking

6. Bellman-Ford algorithm

注意点:

• 授業で習ったこと (アルゴリズムの記述方法、計算量、動的計画法の基本要素など) を使用
• 上記リスト以外のアルゴリズムを選択したい場合、12月22日 (水) までにメールで問い合わせ
• 調査に使った文献等を必ず明記
• まる写し (例、プログラムも含む) の場合、レポートが 0 点になる