データ構造とアルゴリズム

第三回 (2013年10月11日)

漸近的計算量と `O` 記法

http://www.sw.it.aoyama.ac.jp/2013/DA/lecture3.html

Martin J. Dürst

前回のまとめ

アルゴリズムの表現方法: 自然言語の文書、図、疑似コード、プログラム
それぞれに利点と問題点
疑似コードは構造化プログラムに近いが、余計な詳細を省く
Ruby プログラム言語を「動く疑似コード」として活用
アルゴリズムの評価で一番大事は実行時間 (計算量)

アルゴリズムの評価の概要

主な評価基準:

実行時間
メモリ使用量
実装のしやすさ

評価のときに必要な情報:

アルゴリズムの使用頻度
データ項目の大体の数

実行時間の比較: 具体から抽象へ

実行時間の測定
ステップの数え上げ
最悪の場合などのステップの数え上げ
漸近記号 (簡単な式で実行時間の動向を表現)

先週の宿題 1: ステップの漸近的増加の例

(漸近的な増加 = asymptotic growth)

ステップの数
`n` (データの個数)	1	10	100	1,000	10,000	100,000	1,000,000
線形探索 (+, [])	2	20	200	2000	20,000	~199,930	-
2分探索 (-, +, /, [])	5	13~17	25~31	41	53~57	65~69	77~81

ステップの数を式で表す (近似する) とどうなる

線形探索: 2n; 2分探索: 4 ⌈log₂(n+1)⌉ + 2

データの個数が多くなると式のどの項が重くなるか

線形探索: 2n; 2分探索: 4 log₂n

漸近的増加の考え方

アルゴリズムの計算時間やステップ数は入力項目の数に依存
依存を関数で表す: f(入力項目数) (f(n))
関数の比較に使う原則:
- 入力項目数が増えるところに注目
  → 入力項目数が少ないときを無視
  → 一定時間の差は無視 (例えば初期化)
- アルゴリズムの本質に注目
  → ハードウエアや実装の差を無視
  → 定数倍の差を無視

⇒ ハードウェア、実装の詳細、ステップの数え方に依存しない

⇒ アルゴリズムの本質的な差が簡潔に表せる

先週の宿題 2: 関数の増加の比較

それぞれ二つの関数で、n が増加すると大きい方はどちらか

左	右	結果
100`n`	`n`²	右 (`n` ≥ 100)
1.1ⁿ	`n`²⁰	左 (`n` ≥ 1541)
5 log₂ `n`	10 log₄ `n`	同じ (log₂ `x` = 2 log₄ `x`)
20ⁿ	`n`!	右 (`n` ≥ 52)
100·2ⁿ	2.1ⁿ	右 (`n` ≥ 95)

増加の比較: Ruby の使用

irb (Interactive Ruby) を立ち上げる
ループの記述: (初期値..修了値).each { |n| 比較 }
比較の具体例: puts n, 1.1**n, n**20
初期値と修了値を適切に変更
必要に応じて比較しやすいように整数を実数に変更
階数の定義: def fac(n) n>1 ? n*fac(n-1) : 1 end

注: 理論的にどちらが多くなるか分からない場合、使う意味がない

漸近的増加による関数の分類

線形増加 (linear growth): f(n) = n, 2n+15, 100n-40, 0.001n,...
二次増加 (quadratic growth): f(n) = n², 500n²+30n+3000,...
三次増加 (cubic growth): f(n) = n³, 5n³+7n²+80,...
対数増加 (logarithmic growth): f(n) = ln n, log₂n, 5 log₁₀n²+30,...

漸近的増加の関数の集合

O(g(n)): g(n) の増加以下の関数の集合 (O: big Oh)
Ω(g(n)): g(n) の増加以上の関数の集合 (Ω: オメガ (大文字))
Θ(g(n)): g(n) の増加と同等の関数の集合 (Θ: シータ (大文字))

O の定義

∃c>0: ∃n₀≥0: ∀n≥n₀: f(n)≤c·g(n) ⇒ f(n)∈O(g(n))

g(n) を f(n) の漸近的上界 (asymtotic upper bound) という
文献によって
- f(n)∈O(g(n)) の代わり f(n)＝O(g(n))
- この場合、O(g(n)) は必ず右側に書く
- この記法を去年度までこの授業でも採用
- しかし f(n)∈O(g(n)) が正確で分かりやすい

`Ω` と `Θ` の定義

∃c>0: ∃n₀≥0: ∀n≥n₀: c·g(n)≤f(n) ⇒ f(n)∈Ω(g(n))

∃c₁>0: ∃c₂>0: ∃n₀≥0: ∀n≥n₀: c₁·g(n)≤f(n)≤c₂·g(n) ⇒ f(n)∈Θ(g(n))

f(n)∈Θ(g(n)) ⇔ f(n)∈O(g(n)) ∧ f(n)∈Ω(g(n))

Θ(g(n)) = O(g(n)) ∩ Ω(g(n))

`O` 記法の具体例

線形増加 (linear growth):
n∈O(n); 2n+15∈O(n); 100n-40∈O(n);5 log₁₀n+30∈O(n),...

O(1)⊂O(n); O(log n)⊂O(n),...
二次増加 (quadratic growth):
n²∈O(n²); 500n²+30n+3000∈O(n²),...
O(n)⊂O(n²); n³∉O(n²),...
三次増加 (cubic growth):n³∈O(n³); 5n³+7n²+80∈O(n³),...
対数増加 (logarithmic growth):ln n∈O(log n); log₂n∈O(log n); 5 log₁₀n²+30∈O(log n),...

漸近記号の用途

O 記法: アルゴリズムが漸近的に最大で有する計算量
Ω 記法: ある問題を解くに必要な最低時間の漸近的増加など
Θ 記法: 「最大で必要」だけではなく、実際にそれに達していることの表現

この授業も含め、アルゴリズムとデータ構造では O 記法は非常に多い

`O` 記法の確認

方法 1: 定義の利用
適切に大きい n₀ と c を選択、定義を確認
方法 2: 極限の利用
lim_n→∞(f(n)/g(n)):
- 0 の場合: O(f(n))⊊O(g(n)), f(n)∈O(g(n))
- 0 < d < ∞: O(f(n))=O(g(n)), f(n)∈O(g(n))
- ∞: O(g(n))⊊O(f(n)), f(n)∉O(g(n))

`O` 記法の単純化

O 記法ではできるだけ一番簡単な関数の記法を使用
具体例:
- 定数関数: O(1)
- 線形関数: O(n)
- 二次関数: O(n²)
- 三次関数: O(n³)
- 対数関数: O(log n)

指数の低い項の無視

具体例: f(n) = an + b = O(n)

O の定義: 0 ≤ f (n) ≤ cg (n) [n > n₀; n₀, c > 0]

an + b ≤ cn [n > n₀; n₀, c > 0]

可能な値: c = a + b/n₀

確認: an + b ≤ (a + b/n₀)n [n > n₀; n₀, c > 0]

an + b ≤ an + (b/n₀)n [n > n₀; n₀ > 0]

b ≤ (b/n₀)n [n > n₀; n₀ > 0]

1 ≤ n/n₀ [n > n₀; n₀ > 0]

具体的な値: n₀ = 1, c = a + b; n₀ = 2, c = a + b/2 等

一般化: O(n^a + n^b) ∧a > b ⇒O(n^a)

対数の底

O(log₂ n) と O(log₁₀ n) はどう違うか

(参考: log_b a = log_c a / log_c b)

漸近記号の具体例: 探索アルゴリズムの比較

線形探索のステップ数は an + b ⇒ 線形探索は O(n)
2文探索のステップ数は a log₂ n + b ⇒ 線形探索は O(log n)
O(log n) ⊊ O(n) のため、2文探索が早い

まとめ

アルゴリズムそのもの計算量の評価:
- 定数の項 (初期化など) を無視
- 定数の因子 (実装やハードウェアの差) を無視
- 入力の大きさ・データ項目の数による漸近的増加
関数の漸近的増加は関数の集合で表すのが可能
表記として O(), Ω(), Θ() を利用
アルゴリズムの計算量は O(log n), O(n), O(n²), O(2ⁿ) のどで表現可能

宿題

(提出不要)

ウェブなどで O(1), O(log n), O(n), O(n log n), O(n²), O(n³), O(2ⁿ), O(n!) のアルゴリズムを探す