言語理論とコンパイラ

第五回: 中間テスト、flex の演習

2009 年 5 月 7 日

http://www.sw.it.aoyama.ac.jp/2010/Compiler/lecture5.html

Martin J. Dürst

© 2005-10 Martin J. Dürst 青山学院大学

今日の内容

• 字句解析の自動化
• cygwin の使い方
• flex の概要
• flex の使い方と演習
• 来週の予定: 中間テスト

前回までのまとめ

• (非) 決定性有限オートマトン
• (左|右) 線形文法
• 正規表現 (regular expression)

全て同じ力を持って、お互いに変換可能、正規言語を定義・受理

コンパイラの段階

字句解析 (lexical analysis)

構文解析 (parsing; syntax analysis)

意味解析 (semantic analysis)

最適化 (optimization)

コード生成 (code generation)

コンパイラの構造の実装

前半 (解析) もしくは全体は構文解析が中心

構文解析は getNextToken() みたいな関数で字句解析から必要に応じて次のトークンを取得

構文解析は必要に応じて意味解析などを呼ぶ

字句解析の実装

主な要点:

• 文字ごとの細かい作業なので効率が大切
• 読み込みにバッファを使う

選択肢:

• 自分で字句分析を書く
• ツールを使う

字句解析の自動化

• 字句解析はコンパイラの初段階
• プログラム言語の「単語」を解析・抽出
• 字句の記述には正規表現が最適
• 正規表現→NFA→DFA で効率的な実装が可能
• 手作業での変換は大変なので、自動化

cygwin の使い方

• ls: ディレクトリの内容をリストアップ
• mkdir: 新しいディレクトリを作る
• cd: 現在のディレクトリを変更する
• pwd: 現在のディレクトリを表示する
• gcc: C のプログラムをコンパイルする
• ./a: コンパイルしたプログラムを実行する
• notepad filename.l &: cygwin からメモ帳を直接、しかも並行に使えるように立ち上げる

cygwin とハードディスク

• 前提: cygwin のインストール先が C:\cygwin
• 普通は C:\cygwin の下しか見えない
• ユーザ用のホームディレクトリは例えば C:\cygwin\home\user1
• pwd で /home/user1 として表示
• C:\cygwin の下からの脱出:
  cd /cygdrive/c

flex の概要

• lex の GNU 版、様々な拡張
• lex: lexical analyzer (作者の名前は Lesk)
• コンパイラなどの字句解析が簡単に記述可能
• 構文解析機 bison と相性がよい
• (Adobe Flex と別物)

flex の動作

• 拡張子 .l で終わる flex 用入力ファイル ((f)lex ファイル) を作成 (例: test.l)
• flex で test.l ファイルから lex.yy.c ファイルを作成:
  >flex test.l
• lex.yy.c を (他のファイルと一緒に) コンパイル

flex の使い方

1. 独自のファイル処理 (正規表現によるファイルの一部の認識・変更):

   main から yylex() 関数を一回呼ぶ

2. 構文解析に:

   構文解析から yylex() を繰り返し読んで、トークンを return で返すようにする

flex の勉強の仕方

• マニュアルを読む: 英語、日本語
• flex の出力 (lex.yy.c) を読む
• 違う入力に対する flex の出力を比較
• flex のソースを読む (flex の字句解析も flex 形式で書かれている)
• オプションによる内部情報の出力 (例: flex -v)

flex の入力形式

flex 専用の指示と C プログラムの一部分が混在

主に、二つの %% で区切られている三つの部分からなる:

1. 前文 (変数の定義と初期化、良く使う字句の定義など)
2. 字句規則とその場合に実行するプログラムの部分
3. そのほかの関数など

その三つの部分の間に区切りとして %% がある

flex の入力形式の骨格

宣言など (C 言語)
宣言など (C 言語)
%%
正規表現    実行文 (C 言語)
正規表現    実行文 (C 言語)
正規表現    実行文 (C 言語)
%%
関数など (C 言語)
関数など (C 言語)

flex の入力形式の一例

        int num_lines = 0, num_chars = 0;
%%
\n      ++num_lines; ++num_chars;
 .       ++num_chars;
%%
main()
{
        yylex();
        printf( "# of lines = %d, # of chars = %d\n",
                num_lines, num_chars );
}

int yywrap () { return 1; }

flex の基本的動作

• コンパイル時:
  • 正規表現を分析、一つの NFA に統合
  • テーブルの作成と初期化、NFA の処理プログラムをコピー
  • .l ファイル内の C 言語の部分をコピー
• 実行時:
  • 文字を順次入力
  • できるだけ長い文字列を一つの正規表現で受理
  • 複数の正規表現で同じ長さの文字列が受理可能な場合、先のものが優先
  • 受理が決定の場合、対応する C コードを実行
  • 受理できない文字はそのまま出力
  • 次の文字から処理再開

flex の演習 1

前のスライドの flex 用プログラムをファイルにし、flex と gcc を使って実行ファイルにし、実行してみる。

flex の演習 2

一般のテキストを XML の要素の内容に入れたい場合には次の表に示される変換を行う必要がある。flex でその変換と逆変換を行うプログラムをそれぞれ書く。

flex の演習 3: 数字の発見

入力をそのまま出力、しかし数字でしたら、その前に >>>、その後に <<< をつけるプログラムを flex で作成

入力例:

abc123def345gh

出力例:

abc>>>123<<<def>>>345<<<gh

ヒント: 正規表現でつかんだ文字列は yytext として使用可能

flex の演習 4: 日付の字句解析

提出期限と場所: 2010 年 5 月 20 日 (木) 19:00 まで O 棟 5 階の O-529 号室の前の箱に投入

提出形式:

• flex の入力になる .l ファイル
• A4 の紙一枚 (必要になれば両面印刷; もっと長くなる場合はホチキス止め)
• 名前、学生番号はコメントとして書く
• 表紙は必要ない (原点対象)

ISO 8601 は日付と時間の形式の標準 (Wikipedia 参照)。ファイル内に下記の形式の日付と時間を全て認識し、項目ごとに次のように出力する:

Year: 2010

Month: 5

Day: 7

Hours: 12

Minutes: 25

不可能な日付など (例: 2010-02-29) は無視するようにする。その他の形式は発展問題。

来週の予定

中間テスト