言語理論とコンパイラ

第一回 (2015年 4月10日)

授業の概要
コンパイラ全体の仕組み

http://www.sw.it.aoyama.ac.jp/2015/Compiler/lecture1.html

Martin J. Dürst

duerst@it.aoyama.ac.jp

O 棟 529 号室

今日の内容

自己紹介
授業の位置づけ・進め方・内容
入力の難しさ
コンパイラの構造
字句解析と構文解析
オートマトンの一例
形式言語の文法の一例

自己紹介

スイスチューリッヒ生まれ
チューリッヒ大学で lic.oec.publ. (修士相当、情報科学専攻、経営学と日本学副専攻)
文部省奨学金で来日、東京大学で理学博士 (情報科学専攻)
チューリッヒ大学情報科学科マルチメディア研究室主任助手
慶應義塾大学政策・メディア研究科特別研究助教授 (W3C プロジェクト)
米マサチューセッツ工科大学客員研究員
World Wide Web Consortium (W3C) 国際化活動責任者
2005年から青山学院大学

授業の位置付け

3 年前期
第二科目群 (選択必修、来年度から JE 科目)
ベースとなる科目:
- 計算機概論
- 情報数学
- 計算機実習 (プログラミング)

授業の目標

(言語) 理論と応用の関係の理解
ツールによる応用
- コンパイラ
- 文書処理
- 入力の解析
- データ形式の設計
- 小さい言語の設計と実装
  (ドメイン特化言語など)

コンパイラの大切さ

Steve Yegge のブログ

Executive Summary:

If you don't know how compilers work, then you don't know how computers work.

If you're not 100% sure whether you know how compilers work, then you don't know how they work.

授業の進め方

前方着席
資料配付とウェブ公開
書き込みが重要
一部ノートパソコンで演習
宿題、レポート、ミニテスト、期末試験
出席しないと大損

授業の日程

日程

参考書

(授業は言語理論とコンパイラ両方をカバーするが、参考書は片方に集中)

授業の内容

	理論	コンパイラ	他の応用
フロントエンド	言語理論、オートマトン	字句解析、構文解析	正規表現, 文書・データ形式
バックエンド		最適化、コード生成

出力より入力に注目
理論から応用まで様々な表現を使用

入力と出力の違いの例

(計算機実習 I の 041A と 04C1 の問題)

文字そのもの	HTML/XML での表現 (エスケープ)
`'`	`'`
`"`	`"`
`<`	`<`
`>`	`>`
`&`	`&`

→ は内部のデータの出力
← は外部からの入力
どの方向の変更が難しいか

入力の難しさ

構造化されてない (ただのバイト・文字の列)
何でもあり (エラーも含む)
入力が「正しい」かどうかの判断が計算のモデル
入力が「正しい」かどうかが認識と同じ

コンパイラの役割

ソフトからハードへの橋渡し

入力 (input): 人間が分かるプログラム
- 言語: 高級プログラム言語
- 媒体: source (file/program)、ソース (プログラム)、原始プログラム
出力 (output): 機械が分かるプログラム
- 言語: object code
- 媒体: object code、machine code、目的プログラム、実行プログラム

コンパイラの仕事の一例

入力のプログラムの一部:

sum += price * 25;

出力 (アセンブリ言語, assembly language):

LOAD   R1, price  ; R1 (レジスタ 1) に price という名前の場所からロード
CONST  R2, 25     ; R2 (レジスタ 2) に 25 の定数を設定
MUL    R1, R1, R2 ; R1 に R1 と R2 の掛け算の結果を入れる
LOAD   R2, sum    ; R2 に sum という名前の場所からロード
ADD    R2, R1, R2 ; R2 に R1 と R2 の合計を入れる
STORE  sum, R2    ; sum という名前の場所に R2 の内容を納める

コンパイラの論理的構造

(compiler)

[プリプロセッサ (preprocessor)]
字句解析 (lexical analysis)
構文解析 (parsing; syntax analysis)
意味解析 (semantic analysis)
最適化 (optimization)
コード生成 (code generation)
[アセンブラ (assembler)]
[リンカ (linker)・ローダ (loader)]

コンパイラの種類と関連物

ワンパス・コンパイラ (one pass compiler)
x-パス・コンパイラ (x は 1 から 70 (1970 年だの PL/1))
クロスコンパイラ (cross-compiler)
動的コンパイラ (dynamic/just-in-time (JIT) compiler)
プリプロセッサ (preprocessor)
インタプリタ (通訳系, interpreter)

字句解析の一例

入力のプログラムの一分 (文字の列):

;

出力 (トークンの列):

id("sum"), plusequal, id("price"), asterisk, int(25), semicolon

字句解析の概要

文字列からトークンの列へ
複数の文字が一つのトークン (token, 記号、符) に
属性付きトークン
例: id (identifier、識別子の名前)、int (integer、整数の値)
トークンの名前は形の由来が多い (* は mult 等ではなく asterisk)
空白は解析に使用、しかし非出力

構文解析の一例

入力 (トークンの列):

id("sum"), plusequal, id("price"), asterisk, int(25), semicolon

出力 (構文木、syntax tree):

構文木の注意点

一つの記号が木の一つの節
式の場合:
- 演算子が親 (式を表現)
- 被演算子が子
- 木構造が優先度・結合規則を表現
  (先の演算が下)
抽象的なまとまり (文 (statement) なだ) を親として追加
括弧や区切り記号 (,, ; など) は解析に使用、しかし非出力

もう一つの例

price = pretax / 100 *
            (108 - discount);

オートマトンの一例

自動販売機:

入力: 50円玉
出力: 水 (150円)

状態遷移図 (state transition diagram)

言語と文法

言語の定義:
- 構造 (構文、syntax)
- 意味 (semantics)
文法は言語の構成規則
簡単な文の例
例 (命令文): eat bread、read books、play music
命令文の文法:
命令文 → 動詞名詞
文法的には read bread とか play books も正しいが、意味的に問題

命令文の文法

命令文 → 動詞名詞

動詞 → eat

動詞 → read

動詞 → play

名詞→ bread

名詞→ books

名詞→ music

宿題

提出期限と場所: 2015年4月16日 (木) 19:00 まで O棟5階の O-529 号室の前の箱に投入

形式: A4 一枚、表紙なし

課題: 下記一行の C プログラム断片の字句解析の結果、構文解析の結果、そしてコンパイラの出力を、授業の例に習って書きなさい。

アセンブリ言語でのコメントは不必要; 引き算は SUB、割り算は DIV
grade = math/2 + english - absent*3;