言語理論とコンパイラ

第一回 (2014年 4月11日)

授業の概要
コンパイラ全体の仕組み

http://www.sw.it.aoyama.ac.jp/2014/Compiler/lecture1.html

Martin J. Dürst

duerst@it.aoyama.ac.jp

O 棟 529 号室

今日の内容

自己紹介
授業の位置づけ・進め方・内容
入力の難しさ
コンパイラの構造
字句解析と構文解析
オートマトンの一例
形式言語の文法の一例

自己紹介

スイスチューリッヒ生まれ
チューリッヒ大学で lic.oec.publ. (修士相当、情報科学専攻、経営学と日本学副専攻)
文部省奨学金で来日、東京大学で理学博士 (情報科学専攻)
チューリッヒ大学情報科学科マルチメディア研究室主任助手
慶應義塾大学政策・メディア研究科特別研究助教授 (W3C プロジェクト)
米マサチューセッツ工科大学客員研究員
World Wide Web Consortium (W3C) 国際化活動責任者
2005年から青山学院大学

授業の位置付け

3 年前期
第二科目群 (選択必修)
ベースになる科目:
- 計算機概論
- 情報数学
- 計算機実習 (プログラミング)

授業の目標

(言語) 理論と応用の関係の理解
ツールによる応用
- コンパイラ
- 文書処理
- 入力の解析
- データ形式の設計
- 小さい言語の設計と実装
  (ドメイン特化言語)

コンパイラの大切さ

Steve Yegge のブログ

Executive Summary:

If you don't know how compilers work, then you don't know how computers work.

If you're not 100% sure whether you know how compilers work, then you don't know how they work.

授業の進め方

前方着席
資料配付とウェブ公開
書き込みが重要
一部ノートパソコンで演習
宿題、ミニテスト、期末試験
出席しないと大損

授業の日程

日程

授業の内容

	理論	コンパイラ	他の応用
フロントエンド	言語理論、オートマトン	字句解析、構文解析	正規表現, XML など
バックエンド		最適化、コード生成

出力より入力に注目
理論から応用まで様々な表現を使用

入力と出力の違いの例

文字そのもの	XML での表現 (エスケープ)
`'`	`'`
`"`	`"`
`<`	`<`
`>`	`>`
`&`	`&`

どの方向の変更 (→ 又は ←) が難しいか

入力の難しさ

構造化されてない (ただのバイト・文字の列)
何でもあり (エラーも含む)
入力が「正しい」かどうかの判断が計算のモデル
入力が「正しい」かどうかが認識と同じ

コンパイラの役割

ソフトからハードへの橋渡し

入力 (input): 人間が分かるプログラム (高級プログラム言語、source (file/program)、ソース (プログラム)、原始プログラム)

出力 (output): 機械が分かるプログラム (object (file/code)、machine code、目的プログラム、実行プログラム)

コンパイラの仕事の一例

入力のプログラムの一部:

sum += price * 25;

出力 (アセンブリ言語, assembly language):

LOAD   R1, price    ; R1 (レジスタ 1) に price という名前の場所からロード
CONST  R2, 25       ; R2 (レジスタ 2) に 25 の定数を設定
MUL    R1, R1, R2   ; R1 に R1 と R2 の掛け算の結果を入れる
LOAD   R2, sum      ; R2 に sum という名前の場所からロード
ADD    R2, R1, R2   ; R2 に R1 と R2 の合計を入れる
STORE  sum, R2      ; sum という名前の場所に R2 の内容を納める

コンパイラの論理的構造

(compiler)

[プリプロセッサ (preprocessor) ]
字句解析 (lexical analysis)
構文解析 (parsing; syntax analysis)
意味解析 (semantic analysis)
最適化 (optimization)
コード生成 (code generation)
[アセンブラ (assembler)]
[リンカ (linker)・ローダ (loader) ]

コンパイラの種類と関連物

ワンパス・コンパイラ (one pass compiler)
x-パス・コンパイラ (x は 1 から 70 (PL/1))
クロスコンパイラ (cross-compiler)
動的コンパイラ (dynamic/just-in-time (JIT) compiler)
プリプロセッサ (preprocessor)
インタプリタ (通訳系, interpreter)

字句解析の一例

入力のプログラムの一分 (文字の列):

;

出力 (記号の列):

id("sum"), plusequal, id("price"), asterisk, int(25), semicolon

一つの記号 (符、トークン、token) が複数の文字からなる
記号に属性がついていることがある
例: id (identifier、識別子の名前)、int (integer、整数の値)
記号の名前は形の由来が多い (* は mult 等ではなく asterisk)
空白は解析に使われるが出力しない

構文解析の一例

入力 (記号の列):

id("sum"), plusequal, id("price"), asterisk, int(25), semicolon

出力 (構文木、syntax tree):

構文木の注意点

一つの記号が木の一つの節
式の場合:
- 演算子が親
- 被演算子が子
- 木構造が優先度・結合規則を表す
抽象的なまとまり (文 (statement) なだ) を親として追加
括弧や区切り記号 (,, ; など) は解析に使われるが出力しない

もう一つの例

price = pretax / 100 * (108 - discount);

オートマトンの一例

自動販売機:

入力: 50円玉
出力: 水 (150円)

状態遷移図 (state transition diagram)

言語と文法

言語には構造 (構文、syntax) と意味 (semantics)
文法は言語の構成規則
簡単な文の例
例 (命令文): eat bread、read books、play music
文法: 命令文 → 動詞名詞
文法的には read bread とか play books も正しい

命令文の文法

命令文 → 動詞名詞

動詞 → eat

動詞 → read

動詞 → play

名詞→ bread

名詞→ books

名詞→ music

形式言語の文法の一例

S, A: 非終端記号 (nonterminal symbols, 大文字)
a, o, y: 終端記号 (terminal symbols, 小文字)
書き換え規則 (rewriting rules)
S → a S o

S → A

A → y a
S: 初期記号 (initial symbol, start symbol)

文法から文の導出 (derivation) の一例:

S → a S o → a a S o o → a a A o o → a a y a o o

S ⇒ a a y a o o

宿題

提出期限と場所: 2014年4月 18 17 日 (木) 19:00 まで O棟5階の O-529 号室の前の箱に投入

形式: A4 一枚、表紙なし

課題: 下記一行の C プログラム断片の字句解析の結果、構文解析の結果、そしてコンパイラの出力 (アセンブリ言語; コメントは必要ない; 引き算は SUB、割り算は DIV) を、授業の例に習って書きなさい。
grade = english/2 + math - absent*5;