2 cparse.pl を読む
cparse.pl は、解析器インスタンスを生成したあと、 標準入力から読み込んだテキストで解析し、標準出力に出力します。 以下に、主要な記述を抜粋したものを示します。
#!/usr/bin/env perl
use FindBin qw($Bin);
use lib "$Bin/../TEBA";
use CParser;
$cp = CParser->new();
$t = $cp->parse(join('', <>));
print $t;この記述の最初の2つの use は、TEBA
のライブラリの読み出しパスの設定を行うものです。
“use Cparser;” は、TEBA のモジュールファイル Cparser.pm
を読み込みます。
ファイルは、直前で設定したライブラリの読み出しパスに従って探します。
Perl
のモジュールは、オブジェクト指向におけるクラスとして扱うことができ、
CParser.pm にはインスタンスを生成するメソッド new()
が定義されています。 Cparser->new()
により、メソッドが呼ばれ、インスタンスが返されます。
この場合、インスタンスは変数 $cp が参照します。
クラス Cparser には解析を行うメソッドである parse()
が定義されています。 parse()
は、ソースプログラムをテキストとして受け取り、構文解析をした結果を返します。
join('', <>)は、標準入力から行単位の文字列をすべて読み取り、
文字 '' で挟んで結合します。文字 ''
は空文字なので、
実質的には標準入力から読み取ったすべての行を結合します。
ここで、<>はリストを記述する文脈(リストコンテキスト)で使われています。
スカラーコンテキストの場合は、1行のみの読み取りとなりますが、
リストコンテキストの場合には、すべての行を読み込み、
各行を要素と持つリストになります。 (注:
実際には、実際に各行が必要になるまで読み込みは遅延されます。)
自習課題
- 「コンテキスト(context)」の意味を辞書等で調べなさい。
- 次に、Perl における「スカラーコンテキスト」と「リストコンテキスト」の意味を調べなさい。
2.1 CParser.pm
CParser.pm
は、C言語の構文解析器であり、その解析フィルタのインスタンスを生成し、
それらを結合して処理を構成します。 最初の package Cparser;
はモジュールの名前の設定です。 そのあとの、use
で読み込んでいるモジュールは、解析器を構成するフィルタの定義です。
2.1.1 メソッド new()
メソッド new() は、CParser
インスタンスを生成し、
解析に必要な定義ファイルを読み込んで、インスタンスに設定します。
インスタンスの生成は、特定のデータ構造に bless
命令を適用して実現します。 CParser は無名ハッシュテーブル
{ } を用いてインスタンスを生成しており、
ハッシュテーブルとしての機能にメソッドが付加されたオブジェクトになります。
ハッシュテーブルへの登録は、以下のようにキー(key)を指定して値(value)を設定します。
参照のときも同様です。
$self->{'key'} = 'value'; # 'key' というキーで値 'value' を登録
print $self->{'key'}, "\n"; # 'key' に該当する値を出力各設定ファイルは open()
を用いて開きます。第1引数はファイルハンドラで、 < と >
で囲うことで、ファイルを行単位で読み出します。
1行だけ読み出すか、すべての行を読み出すかはコンテキストに依存します。
読み出しあとは、close() でファイルハンドラを閉じます。
open() のあとの die
は理由を提示してプログラムを停止させる命令です。
2.1.2 メソッド build()
解析に必要なフィルタのインスタンスを生成して、ハッシュテーブルに登録します。 作成するフィルタは以下の通りです。
フィルタ名(key) クラス 用途 Tokenizer Tokenizer 字句解析器 (token.def) Prep RewriteTokens 前処理命令解析 (prep.rules) BracketsID BracketsID 括弧対応関係解析 CoarseGrainedParser CoarseGrainedParser 粗粒度構文解析 BeginEnd BeginEnd 仮想字句対応関係解析 NameSpaceRules RewriteTokens 名前空間解析 (namespace.rules) MacroStmt RewriteTokens マクロ文補正 (macro-stmt.rules) EParser EParser 式解析
これらのフィルタを作成したらキー build の値を
1 に設定することで、 build()
が実行されているかどうか判定できるようにしています。
2.1.3 メソッド parse()
メソッド parse()
では、字句解析をして字句系列を得てから、
字句系列に対して構文解析を適用して、その結果を返します。 解析を行う前に
build() していることが事前条件となるので、
build() されていない場合には build()
を実行します。
2.1.4 メソッド parse_tokens()
生成したフィルタを順次適用することで、解析を実現します。 主な流れを下図に示します。
各フィルタの内容は以下の通りです。
字句解析 | 字句定義に従って字句を切り分けます。 | 前処理命令解析 | 前処理命令の範囲を特定し、仮想字句である B_DIRE と E_DIRE で囲うなどの処理を行います。 | 括弧対応解析 | 対応する括弧の組に同じID(識別記号)を属性値として与えます。また、前処理の条件分岐により括弧の対応が取 マクロ文補正 | 関数呼び出し(に見えるもの)だけの行で、行末にセミコロンがない場合に、 仮想的なセミコロンを挿入し、文 粗粒度構文解析 | 字句系列を書換えながら、関数や文などを識別していきます。この段階では、識別子の名前空間は区別せず、宣 名前空間解析 | 識別子をタグ, ラベル, 構造体・共用体メンバ, マクロ, 型, 変数・関数に分類します。また、この結果に基づ 仮想字句対応関係解析 | 対応関係にある仮想字句に同じIDを属性値として与えます。| 式解析 | 式レベルの構造を解析します。 |
これらのうち、字句解析と括弧対応解析、仮想字句対応関係解析以外のフィルタは、 書換え規則を用いて定義しており、字句系列の書換え系である RewriteTokens.pm を用いて処理をしています。 全体を書換えルールで書くことで、見通しの良い設計になるようにしています。
仮想字句対応関係解析は、粗粒度構文解析の中でも何度か呼ばれています。 TEBA の解析は、基本的に仮想字句を挿入するだけの作業であり、 仮想字句には識別記号を割り振っていきます。 粗粒度構文解析の冒頭までは、識別記号がない状態で処理をし、 基本的な構造が解析できた時点で、識別記号を割り振ります。 それ以降は、仮想字句を挿入する時点で識別記号を割り振りますが、 フィルタ間で重複した識別記号を割り振る可能性があるので、 式解析の前に再度割り振り直しています。
自習課題
C言語について、以下のことを調べなさい。
- 前処理命令にはどのようなものがあるか
- 「宣言」とは何か
- C言語で「名前空間」とは何か、また、TEBA が扱う名前空間との差異は何か