Go语言视频零基础入门到精通

五菱

1、要想运行次爬虫程序首先要有个前提条件，因为本爬虫程序采用了分词的技术，所以需要加载一个字典文件，此字典文件在爬虫程序中要求放在此目录结构下：c:\dictionary\dictionary.txt，词典默认认为是按照词语长到短的顺序排列的 2、此爬虫程序爬到的网页内容存储到数据库中，运用的是SQL Server 2005,在此数据库下有一个叫javadatabase的数据库，下面有个叫做webinfo的表格，表格的列有：id(int),url(varchar(50)),title(varchar(max)),body(text),bodyppl(text) 3、程序中运用了基于字符串匹配的分此方法中的正向最大匹配法 4、此爬虫程序采用的是广度优先的搜索方法搜索网络中的网页，仅仅实现了搜索“河北大学”的网络资源，程序中采用队列的方式存储已经访问过的网页的URL，以避免重复的抓取同一个网页的现象发生，待抓取的网页存储在一个链表中，链表的每个结点存储着待抓取的网页的URL信息 下载地址： Java编写的spider网络爬虫程序源码 下载

wangwjb

让我下载一下嘛，看看！

zztmptmp

多谢分享

fc1314

看看呢

fc1314

楼主跟本没有数据库，请你发给我我QQ115889198