Java学习者论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

手机号码,快捷登录

恭喜Java学习者论坛(https://www.javaxxz.com)已经为数万Java学习者服务超过8年了!积累会员资料超过10000G+
成为本站VIP会员,下载本站10000G+会员资源,购买链接:点击进入购买VIP会员
JAVA高级面试进阶视频教程Java架构师系统进阶VIP课程

分布式高可用全栈开发微服务教程

Go语言视频零基础入门到精通

Java架构师3期(课件+源码)

Java开发全终端实战租房项目视频教程

SpringBoot2.X入门到高级使用教程

大数据培训第六期全套视频教程

深度学习(CNN RNN GAN)算法原理

Java亿级流量电商系统视频教程

互联网架构师视频教程

年薪50万Spark2.0从入门到精通

年薪50万!人工智能学习路线教程

年薪50万!大数据从入门到精通学习路线年薪50万!机器学习入门到精通视频教程
仿小米商城类app和小程序视频教程深度学习数据分析基础到实战最新黑马javaEE2.1就业课程从 0到JVM实战高手教程 MySQL入门到精通教程
查看: 497|回复: 0

[框架技术] 爬虫搜索基础篇(二)

[复制链接]

该用户从未签到

发表于 2015-11-19 09:17:53 | 显示全部楼层 |阅读模式
2.结构化数据
JSON字符串的数据是最好处理的,因为只需要解析之后就可以使用了,结构化数据基本都是这个类型。
二.内容
APP手机端的蓬勃兴起,在一定程度上改变了人们获取信息的习惯,以往都是打开电脑,在浏览器上面搜索自己需要的知识。现在只要有手机,有WIFI,搜索变得简单,方便的多了。爬虫除了检索网页上的内容之外,也会涉及到移动端的抓取请求,这里要分为两部分说明。
网页
很多新人都习惯性地认为,我们在网页上看到的就是全部内容,其实并不仅仅局限于网页代码里面的包含的信息,新人在这一块可能有碰到很多问题,比如:
如果是直接调用本地浏览器、要么就是抓取一些包含了JS代码的引擎,这两种做法在处理大量数据抓取是非常低效的,到底呈现在网页上的内容是如何实现的呢?主要分为以下几点:
.网页包含的内容
网页上的内容有一些是固定不变的,有一些内容是动态的,必须通过模板渲染生成,蜘蛛在获取这类信息的时候,只需要搜索特定的HTML标签即可得到,非常简单。
.JS代码的内容
在处理含有js代码的网页时,很容易检索到空内容。这是因为所有的内容不仅是html、同时还有js字符串,如果只处理html代码,那是无法得到信息的。这种情况下必须用正则表达式找到包含内容的js代码串,才能得到实质的信息,不能单一的解析html。
.Ajax异步的内容
下图是chrome浏览器,在页面以分页形式展现的时候,亦或是无刷新的情况下,出现以下情况就很正常。那我们该如何分析呢?这里简要说明:
首先我们要学会观察数据,在页面刷新的时候,数据在哪一步被加载进来的,如果是没有意义的网页,就不需要理会了。如果一旦找到核心异步请求的时候,直接抓取就行了。



刚学的想上手试试吗?在线编程,码农谷智能开发在线编辑器



回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|手机版|Java学习者论坛 ( 声明:本站资料整理自互联网,用于Java学习者交流学习使用,对资料版权不负任何法律责任,若有侵权请及时联系客服屏蔽删除 )

GMT+8, 2024-3-29 14:30 , Processed in 0.464785 second(s), 48 queries .

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表