Go语言视频零基础入门到精通

javalearner

StringTokenizer的作用是每次返回字串内的一个记号。这些记号是一些由制表站、空格以及新行分隔的连续字符。
因此，字串“Where is my cat?”的记号分别是“Where”、“is”、“my”和“cat?”。     与StreamTokenizer类似，我们可以指示StringTokenizer按照我们的愿望分割输入。 但对于StringTokenizer，却需要向构建器传递另一个参数，即我们想使用的分隔字串。通常，如果想进行更复杂的操作， 应使用StreamTokenizer。

    可用nextToken()向StringTokenizer对象请求字串内的下一个记号。该方法要么返回一个记号，要么返回一个空字串（表示没有记号剩下）。

     作为一个例子，下述程序将执行一个有限的句法分析，查询键短语序列，了解句子暗示的是快乐亦或悲伤的含义。
  
  
   
   

     
   

     
   
  

1. import java.util.*;
   
2. public class AnalyzeSentence {
   
3.   public static void main(String[] args) {
   
4.     analyze("I am happy about this");
   
5.     analyze("I am not happy about this");
   
6.     analyze("I am not! I am happy");
   
7.     analyze("I am sad about this");
   
8.     analyze("I am not sad about this");
   
9.     analyze("I am not! I am sad");
   
10.     analyze("Are you happy about this?");
    
11.     analyze("Are you sad about this?");
    
12.     analyze("It’s you! I am happy");
    
13.     analyze("It’s you! I am sad");
    
14.   }
    
15.   static StringTokenizer st;
    
16.   static void analyze(String s) {
    
17.     prt("
18. new sentence >> " + s);
    
19.     boolean sad = false;
    
20.     st = new StringTokenizer(s);
    
21.     s = new String("EOL");
    
22.     while (st.hasMoreTokens()) {
    
23.       String token = next();
    
24.      
    
25.       if(!token.equals("I") && !token.equals("Are"))
    
26.         continue;
    
27.       if(token.equals("I")) {
    
28.         String tk2 = next();
    
29.         if(!tk2.equals("am"))
    
30.           break;
    
31.         else {
    
32.           String tk3 = next();
    
33.           if(tk3.equals("sad")) {
    
34.             sad = true;
    
35.             break;
    
36.           }
    
37.           if (tk3.equals("not")) {
    
38.             String tk4 = next();
    
39.             if(tk4.equals("sad"))
    
40.               break;
    
41.             if(tk4.equals("happy")) {
    
42.               sad = true;
    
43.               break;
    
44.             }
    
45.           }
    
46.         }
    
47.       }
    
48.       if(token.equals("Are")) {
    
49.         String tk2 = next();
    
50.        if(!tk2.equals("you"))
    
51.           break;
    
52.         String tk3 = next();
    
53.         if(tk3.equals("sad"))
    
54.           sad = true;
    
55.         break;
    
56.       }
    
57.     }
    
58.     if(sad) prt("Sad detected");
    
59.   }
    
60.   static String next() {
    
61.     if(st.hasMoreTokens()) {
    
62.       String s = st.nextToken();
    
63.       prt(s);
    
64.       return s;
    
65.     }  
    
66.     else
    
67.       return "";
    
68.   }
    
69.   static void prt(String s) {
    
70.     System.out.println(s);
    
71.   }
    
72. }

复制代码

    对于准备分析的每个字串，我们进入一个while循环，并将记号从那个字串中取出。请注意第一个if语句，
假如记号既不是“I”，也不是“Are”，就会执行continue（返回循环起点，再一次开始）。
这意味着除非发现一个“I”或者“Are”，才会真正得到记号。大家可能想用==代替equals()方法，但那样做会出现不正常的表现，
因为==比较的是句柄值，而equals()比较的是内容。

     analyze()方法剩余部分的逻辑是搜索“I am sad”（我很忧伤、“I am nothappy”（我不快乐）或者“Are you sad?”（你悲伤吗？） 这样的句法格式。若没有break语句，这方面的代码甚至可能更加散乱。大家应注意对一个典型的解析器来说， 通常都有这些记号的一个表格，并能在读取新记号的时候用一小段代码在表格内移动。

     无论如何，只应将StringTokenizer看作StreamTokenizer一种简单而且特殊的简化形式。
然而，如果有一个字串需要进行记号处理，而且StringTokenizer的功能实在有限， 那么应该做的全部事情就是用StringBufferInputStream将其转换到一个数据流里，再用它创建一个功能更强大的StreamTokenizer。
  

  
  
   
   

     
   

     
   
  

复制代码

源码下载：http://file.javaxxz.com/2014/11/2/235819750.zip