言語理論とコンパイラ

第十回: 上向き構文解析の実装

2014 年 6 月 13 日

http://www.sw.it.aoyama.ac.jp/2014/Compiler/lecture10.html

Martin J. Dürst

© 2005-14 Martin J. Dürst 青山学院大学

今日の予定

• 前回のまとめ
• make の活用
• bison の使い方
• 属性文法
• 優先度と結合方向の取扱い
• 文法の種類

前回のまとめ

• 導出の順番には最左導出と最右導出が存在
  
  • 再帰的下向き構文解析は最左導出の順
  • 上向き構文解析は最右導出の逆順
• LALR 構文解析は shift/reduce/goto/accept で動作
  • shift はトークンと状態をスタックに積む
  • reduce はスタックの再上の複数のトークンや非終端記号をまとめる
• その動作を bison -v で作成される .output ファイルと #define YYDEBUG 1 で出力される情報で確認可能

make の活用

• flex, bison, gcc などを忘れず使うのが難しい
• make コマンドは makefile の指定に従い、必要最小限の処理を実行
• 必要に応じて、make コマンドを cygwin で追加
• make ファイルの書き方 (→はタブ; タブでないとだめ!):
  target: input1 input2 input3 ...
→target 作成命令
• make だけで makefile 内の最初の target が作成
• make target で target が作成
• 注: ファイル名 makefile.txt のではなく必ず makefile

bison の入力形式の一例

%{
#include <stdio.h>
#define YYSTYPE double
int yylex (void);
void yyerror (char const *);
%}
%token NUM PLUS

%%
statement: exp { printf ("Result is %g\n", $1); }
;

exp:       exp PLUS exp { $$ = $1 + $3; }
         | NUM { $$ = $1; }
;

%%
int main (void)
{    return yyparse ();  }
     
void yyerror (char const *s)
{    fprintf (stderr, "%s\n", s);  }

bison の入力形式の骨格

bison 関係の宣言など
%{ C 言語の宣言など %}
%%
書換規則    { 実行文 (C 言語) }
書換規則    { 実行文 (C 言語) }
書換規則    { 実行文 (C 言語) }
%%
関数など (C 言語)
関数など (C 言語)

bison の入力形式の構造

bison 専用の指示と C プログラムの一部分が混在

主に、二つの %% で区切られている三つの部分からなる:

1. 準備・設定部分:
   bison 用の設定など
   C の #include、グローバル変数の定義と初期化、良く使う字句の定義など
   C 言語の部分は %{ ... %} に囲む
2. 書換規則とその場合に実行するプログラムの断片
   (最初の非終端記号が初期記号)
3. 残りの C のプログラム (関数など)

C 言語そのものと違って、改行、字下げが解釈を左右

bison の書換規則の実例

exp: exp PLUS exp { $$ = $1 + $3; }

   | NUM { $$ = $1; }

;

• 矢印 (→) の代わりに : 使用
• 最後に ; 使用

属性文法

(attribute(d) grammar(s))

• 単純な構文解析は「受理」の有無のみ
• 終端記号、非終端記号に「属性」を付ける
• 文法規則ごとに、その属性の割り出しを追加情報で定義
• 属性を解析木の下から上へと計算するのが普通が、
  両方向に計算する仕組みも存在
• 例: E0 → E1 '-' E3
  S(E0) = S(E1) - S(E3)
  bison の場合: $$ = $1 - $3
• 典型的な属性: 木の高さ、入力の長さ、式の評価値、部分解析木・構文木、生成されたコード

bison の書換規則の文法

文法:

書換規則 → 非終端記号 ":" 右辺列 ";"
右辺列 → 右辺 | 右辺 "|" 右辺列
右辺 → 記号列 "{" C言語 "}"
記号列 → 記号 | 記号 記号列
記号 → 非終端記号 | 終端記号

flex と bison の使い方の概要

• bison でトークンの種類を記述:
  %token NUM PLUS ASTERISK ...
• bison で属性値の型を定義
  #define YYSTYPE int
• flex でそれぞれのトークン用のルールを定義
• bison で文法規則を定義
• bison で文法の属性の規則を定義
• コンパイルとテスト (全項目と合わせて行った方がよい)

bison の開発のコツ

• テストの入力ファイルを用意
• テストの正解ファイルを用意
• 自動的にプログラムを実行、diff コマンドで比較
• diff から出力がなかったらテスト成功
• テストファースト: テストを追加して、失敗を確認してから実装

calc 用テストファイル: test.in, test.check

bison の仕組みとデバッグ

• bison -v で作った機械の明細のファイルを作成 (例: calc.output)
• #define YYDEBUG 1でデバッグを有効に

曖昧な文法

• 文法の例: E → E '-' E | integer
• 具体例: 5 - 3 - 7 は (5-3) - 7 か 5 - (3-7) か
• 文法が両方の解釈を許す
• (形式) 言語の定義として問題ない
• ある入力に対して複数の解析木を許す文法は曖昧な文法 (ambiguous grammar) と言う
• 一部の文法の場合、変換によって曖昧性が取り除かれる
• 変換のアルゴリズムや変換が可能かどうかを決めるアルゴリズムは存在しない
• 曖昧な文法は言語の構文だけの定義には使えるが、プログラム言語やデータ形式には向いてない
• 文法の曖昧性とプッシュダウンオートマトンの非決定性は同じものではない
  (例: 左右対称の文字列)

文法の曖昧性の除去

問題の例:

E → E '-' E | integer

入力 4 - 5 - 7 に対して複数の解析木が作成可能

解析木によって計算結果が違う

解決方法: 文法の書き換え (左結合の場合)

E → E '-' integer | integer

優先度の取扱い

• 優先度ごとに非終端記号を使用
• 優先度の低い方 (外側) から文法を書く
• 優先度の低い方の右側に同じ優先度
  または一つ高い優先度の非終端記号を使用
• 名前の選び方:
  • 数学の用語 (term (項)、factor (因子) など)
  • 名前の一部に演算子の種類や主な演算子
    (shift_expression, mulExpression など)

結合方向の取扱い

• 左結合の場合:
  • 書き換え規則の左側の非終端記号を演算子の左側
  • 優先度が一つ高い日終端記号を演算子の右側
• 右結合の場合には左右逆

宿題

提出: 来週の木曜日 (6 月 19 日) 19 時 00 分、O 棟 529 号室の前

calc.y を、test.in から test.check になるように完成

calc.y を A4 (両面印刷、表紙なし、左上ホチキス止め、名前と学生番号をコメントに記述) で提出

問題点: 出力の改行の差

対応: 改行記号の統一 (notepad2 で File → Line Endings → Unix (LF))