首页 > 程序开发 > 软件开发 > Java >

用java开发编译器之:Thompson构造,将正则表达式转换为有限状态自动机

2016-04-07

阅读博客的朋友可以到我的网易云课堂中,通过视频的方式查看代码的调试和执行过程: http: study 163 com course courseMain htm?courseId=1002830012 上一节,我们通过代码,实现了一个有限状态自动机,并将

阅读博客的朋友可以到我的网易云课堂中,通过视频的方式查看代码的调试和执行过程:

上一节,我们通过代码,实现了一个有限状态自动机,并将其应用于对整形和浮点数的识别。构造有限状态自动机,并驱动它,从而实现对输入字符串的识别,整个过程就是词法分析的本质。

上一节所开发的状态机,基于以下模型:

\

这个模型,是我们在代码中,手动写入程序的。实则上,它对应着一组正则表达式:

D[0-9] 表示0-9的字符类

{D}+表示由 0-9 构成的整形数值

({D}+ | {D}*\. {D}+ | {D}+ \. {D}*)(e{D}+)?表示浮点数或科学计数法

其中{D}+ 对应着状态机中,由0到1,然后在1中自转这一流程。最后一个正则表达式,对应图中由状态0到状态2,或4的流程。

那么,问题来了,给定一个正则表达式,可否直接生成一个有限状态自动机呢?答案是肯定的,大多数正则表达式识别程序,基本上都是先将其转换为自动机,然后通过驱动自动机来识别输入的,将正则表达式转换为有限状态自动机将是我们这几节的重点。

有限状态自动机的分类

有限状态自动机,其实可以分成两类。第一类是我们上面给出的,叫做确定性有限状态自动机: Deterministic finite automaton 简称DFA. 确定性的状态机有一个特点,就是给定当前状态和输入字符,那么下一个状态就能被唯一确定。例如基于上图,在状态1时,接收到字符0-9,那下一个状态一定只能是1,如果接收到字符 . ,那下一个状态,就一定只能是2. 更严谨的说, DFA 是这样一种自动机,从给定状态出去的边都对应着一个确定的字符,同时,从一个状态出去的两条边,他们对应的字符必定是不同的。

对应于DFA, 另一种状态机叫非确定性有限状态机: Nondeterministic finite automaton, 即NFA. 在实践中,要想顺利的将正则表达式转换为自动机,需要NFA的帮助。NFA 的特点是,从一个状态出去的两条边,可以有相同的对应字符。或者它的边可以对应一种特殊的字符叫”空”字符,该字符对应的符号是: ?.这种边表示,不需要任何输入,就可以从当前状态进入下一个状态。

举个例子,表达式(and | any) , 它对应的DFA如下:

\

它对应的NFA 如下:

从初始状态开始,分化出两条边,两条边对应的字符是一样的

\

或者:

从初始状态分化两条对应字符为空字符的边,然后分别进入两个对应的状态机

\

第二种NFA在程序设计中容易实现,因此,在下一节的代码中,我们将采用第二种NFA的实现模式。

NFA有一个明显的弱点就是,在代码设计中,很难用数据结构来对它进行表示。特别是,当对应于一个输入字符,NFA可以跳转到多个状态,那么,要想利用NFA去识别输入字符串就比较困难。一般而言,使用NFA的程序都需要经过下两个步骤:将正则表达式转换为NFA, 将NFA转换为DFA. 在后面的讨论中,我们将通过代码来展示这两种转换.

Thompson 构造法

将正则表达式转换为NFA的算法是由贝尔实验室的Ken Thompson 给出的,这哥们跟丹尼斯.里奇共同开发了Unix, 而他开发了C语言的前身 B 语言。

他的算法如下:

最简单的正则表达式是单字符匹配,例如a 匹配输入字符”a”, 那么该表达式的NFA 构造如下:

\

那么,两个这样的正则表达式合成的连接表达式ab 可以表示如下:

\

实际上,它是先分别构造出两个表达式的NFA, 然后通过一条?边,将两个NFA首尾连接起来。

下面我们看看,两个表达式进行 OR 操作的时候 | ,NFA怎么构造,构造图如下:

\

要构造两个表达式的或操作: exp1 | exp2, 根据图示,首先分别构造两个表达式exp1 , exp2 各自的NFA: NFA1(上头虚线框), NFA2(下头虚线框), 然后再构造两个状态,初始状态(开头圆圈节点),和结束状态(末尾圆圈节点),初始状态延生处两条 ? 边,分别指向NFA1 和 NFA2 的开头,然后NFA1 和 NFA2的结尾各自延生出一条?边,分别共同指向结束状态。

我们再看看 a | b 的NFA图:

\

其原理跟前面所描述的是一样的。上头虚线框是表达式 a 的NFA, 下头虚线框是表达式 b 的NFA. 两个NFA的连接跟前面描述的一模一样

如果表达式是( (a|b) | cd) 呢,算法也同理,先构造 a | b 的NFA图,然后构造cd的NFA图。最后根据前面所说的办法,再将两个NFA连接起来:

上头大虚线框是 (a|d) 的NFA, 下头长匾虚线框是 cd的NFA. 然后首尾通过两个状态节点和ε边连接起来。

\

大家可以看到, Thompson构造算法其实是一个自我递归的过程

我们再看看相应的闭包操作的构造过程:

exp*的NFA:

如果是自我从复0次,那直接从下面的边走到末尾节点。

\

exp+(至少重复一次) 的NFA:

\

exp?(重复0或1次)的NFA:

\

任何复杂的正则表达式它的NFA的构造都是上面几种构造的组合, 例如表达式

(D*\.D| D\.D*)

构造算法如下:

1.构造 D 的NFA:

\

2.构造 D*:

\

3.构造 D*\.D (由于.在正则表达式中是特殊字符,如果要仅仅想要表达它的符号内容,要在前面加上反斜杠做转义):

. 号的前部分是D*, 后部分是 D 的NFA.

\

4.构造 D\.D*, 该表达式的NFA其实就是将上图 . 后面的部分挪到开头。

5.根据OR 的构造法, 构造整个表达式 (D*\.D | D\.D*)的NFA:

上头是 D*\.D 的NFA, 下头是 D\.D*的NFA

\

再复杂的表达式的NFA的构造,都是几种基础构造的重复组合运用。

我们这一节对概念和算法的介绍就到这里,根据我的习性,下一节肯定就是上代码了。

相关文章
最新文章
热点推荐