Go语言视频零基础入门到精通

javalearner

类java.io.StreamTokenizer可以获取输入流并将其分析为Token(标记)。

    StreamTokenizer的nextToken方法将读取下一个标记,默认情况下，StreamTokenizer认为下列内容是Token：

     字母、数字、除C和C++注释符号以外的其他符号。如符号“/”不是Token，注释后的内容也不是， 而“”是Token。单引号和双引号以及其中的内容，只能算是一个Token。

    要统计文件的字符数，不能简单地统计Token数，因为字符数不等于Token，按照Token的规定， 引号中的内容就算是10页也算是一个Token。

     如果希望引号和引号中的内容都算作Token，
应该通过StreamTokenizer的ordinaryCha方法将单引号和双引号当做普通字符处理。
   
  
   
   

     
   

     
   
  

1. import java.io.BufferedReader;
   
2. import java.io.FileReader;
   
3. import java.io.IOException;
   
4. import java.io.StreamTokenizer;
   
5. /**
   
6. * 使用StreamTokenizer来统计文件中的字符数
   
7. * StreamTokenizer 类获取输入流并将其分析为“标记”，允许一次读取一个标记。
   
8. * 分析过程由一个表和许多可以设置为各种状态的标志控制。
   
9. * 该流的标记生成器可以识别标识符、数字、引用的字符串和各种注释样式。
   
10. *
    
11. *  默认情况下，StreamTokenizer认为下列内容是Token: 字母、数字、除C和C++注释符号以外的其他符号。
    
12. *  如符号"/"不是Token，注释后的内容也不是，而""是Token。单引号和双引号以及其中的内容，只能算是一个Token。
    
13. *  统计文章字符数的程序，不是简单的统计Token数就万事大吉，因为字符数不等于Token。按照Token的规定，
    
14. *  引号中的内容就算是10页也算一个Token。如果希望引号和引号中的内容都算作Token，应该调用下面的代码：
    
15. *     st.ordinaryChar(""");
    
16. * st.ordinaryChar(""");
    
17. */
    
18. public class StatisFileChars {
    
19.     /**
    
20.      * 统计字符数
    
21.      * @param fileName 文件名
    
22.      * @return    字符数
    
23.      */
    
24.     public static long statis(String fileName) {
    
25.         FileReader fileReader = null;
    
26.         try {
    
27.             fileReader = new FileReader(fileName);
    
28.             //创建分析给定字符流的标记生成器
    
29.             StreamTokenizer st = new StreamTokenizer(new BufferedReader(
    
30.                     fileReader));
    
31.             //ordinaryChar方法指定字符参数在此标记生成器中是“普通”字符。
    
32.             //下面指定单引号、双引号和注释符号是普通字符
    
33.             st.ordinaryChar(""");
    
34.             st.ordinaryChar(""");
    
35.             st.ordinaryChar("/");
    
36.             String s;
    
37.             int numberSum = 0;
    
38.             int wordSum = 0;
    
39.             int symbolSum = 0;
    
40.             int total = 0;
    
41.             //nextToken方法读取下一个Token.
    
42.             //TT_EOF指示已读到流末尾的常量。
    
43.             while (st.nextToken() != StreamTokenizer.TT_EOF) {
    
44.                 //在调用 nextToken 方法之后，ttype字段将包含刚读取的标记的类型
    
45.                 switch (st.ttype) {
    
46.                 //TT_EOL指示已读到行末尾的常量。
    
47.                 case StreamTokenizer.TT_EOL:
    
48.                     break;
    
49.                 //TT_NUMBER指示已读到一个数字标记的常量
    
50.                 case StreamTokenizer.TT_NUMBER:
    
51.                     //如果当前标记是一个数字，nval字段将包含该数字的值
    
52.                     s = String.valueOf((st.nval));
    
53.                     System.out.println(s);
    
54.                     numberSum += s.length();
    
55.                     break;
    
56.                 //TT_WORD指示已读到一个文字标记的常量
    
57.                 case StreamTokenizer.TT_WORD:
    
58.                     //如果当前标记是一个文字标记，sval字段包含一个给出该文字标记的字符的字符串
    
59.                     s = st.sval;
    
60.                     wordSum += s.length();
    
61.                     break;
    
62.                 default:
    
63.                     //如果以上3中类型都不是，则为英文的标点符号
    
64.                     s = String.valueOf((char) st.ttype);
    
65.                     symbolSum += s.length();
    
66.                 }
    
67.             }
    
68.             System.out.println("sum of number = " + numberSum);
    
69.             System.out.println("sum of word = " + wordSum);
    
70.             System.out.println("sum of symbol = " + symbolSum);
    
71.             total = symbolSum + numberSum + wordSum;
    
72.             System.out.println("Total = " + total);
    
73.             return total;
    
74.         } catch (Exception e) {
    
75.             e.printStackTrace();
    
76.             return -1;
    
77.         } finally {
    
78.             if (fileReader != null) {
    
79.                 try {
    
80.                     fileReader.close();
    
81.                 } catch (IOException e1) {
    
82.                 }
    
83.             }
    
84.         }
    
85.     }
    
86.     public static void main(String[] args) {
    
87.         String fileName = "c:/temp/newTemp.txt";
    
88.         StatisFileChars.statis(fileName);
    
89.     }
    
90. }

复制代码

运行结果： sum of number = 11
sum of word = 55
sum of symbol = 4
Total = 70
  


  
  
   
   

     
   

     
   
  

复制代码

源码下载：http://file.javaxxz.com/2014/11/2/235820312.zip