TA的每日心情 | 开心
2021-3-12 23:18 |
|---|
签到天数: 2 天 [LV.1]初来乍到
|
|
在前面的文章曾讨论了HTTP
消息头的三个和断点继传有关的字段。一个是请求消息的字段Range
，另两个是响应消息字段Accept-Ranges
和Content-Range
。其中Accept-Ranges
用来断定Web
服务器是否支持断点继传功能。在这里为了演示如何实现断点继传功能，假设Web
服务器支持这个功能；因此，我们只使用Range
和Content-Range
来完成一个断点继传工具的开发。
l
要实现一个什么样的断点续传工具？
这个断点续工具是一个单线程的下载工具。它通过参数传入一个文本文件。这个文件的格式如下
：
http://www.ishare.cc/d/
1174254
-
2
/
106
.jpg d:
ok1.jpg 8192
http://www.ishare.cc/d/1174292-2/156.jpg d:
ok2.jpg
12345
http://www.ishare.cc/d/
1174277
-
2
/
147
.jpg d:
ok3.jpg 3456
这个文本文件的每一行是一个下载项，这个下载项分为三部分：
要下载的Web资源的URL。
要保存的本地文件名。
下载的缓冲区大小（单位是字节）。
使用至少一个空格来分隔这三部分。这个下载工具逐个下载这些文件，在这些文件全部下载完后程序退出。
l
断点续传的工作原理
“断点续传”顾名思义，就是一个文件下载了一部分后，由于服务器或客户端的原因，当前的网络连接中断了。在中断网络连接后，用户还可以再次建立网络连接来继续下载这个文件还没有下完的部分。
要想实现单线程断点续传，必须在客户断保存两个数据。
1.
已经下载的字节数。
2.
下载文件的URL
。
一但重新建立网络连接后，就可以利用这两个数据接着未下载完的文件继续下载。在本下载工具中第一种数据就是文件已经下载的字节数，而第二个数据在上述的下载文件中保存。
在继续下载时检测已经下载的字节数，假设已经下载了3000
个字节，那么HTTP
请求消息头的Range
字段被设为如下形式：
Range: bytes
=
3000
-
HTTP
响应消息头的Content-Range
字段被设为如下的形式：
Content-Range: bytes
3000
-
10000
/
10001
l
实现断点续传下载工具
一个断点续传下载程序可按如下几步实现：
1.
输入要下载文件的URL
和要保存的本地文件名，并通过Socket
类连接到这个URL
所指的服务器上。
2.
在客户端根据下载文件的URL
和这个本地文件生成HTTP
请求消息。在生成请求
消息时分为两种情况：
(1
）第一次下载这个文件，按正常情况生成请求消息，也就是说生成不包含Range
字段的请求消息。
（2
）以前下载过，这次是接着下载这个文件。这就进入了断点续传程序。在这种情况生成的HTTP
请求消息中必须包含Range
字段。由于是单线程下载，因此，这个已经下载了一部分的文件的大小就是Range
的值。假设当前文件的大小是1234
个字节，那么将Range
设成如下的值：
Range：bytes
=
1234
-
3.
向服务器发送HTTP
请求消息。
4.
接收服务器返回的HTTP
响应消息。
5.
处理HTTP
响应消息。在本程序中需要从响应消息中得到下载文件的总字节数。如
果是第一次下载，也就是说响应消息中不包含Content-Range
字段时，这个总字节数也就是Content-Length
字段的值。如果响应消息中不包含Content-Length
字段，则这个总字节数无法确定。这就是为什么使用下载工具下载一些文件时没有文件大小和下载进度的原因。如果响应消息中包含Content-Range
字段，总字节数就是Content-Range
：bytes m-n/k
中的k
，如Content-Range
的值为：
Content-Range：bytes
1000
-
5000
/
5001
则总字节数为5001
。由于本程序使用的Range
值类型是得到从某个字节开始往后的所有字节，因此，当前的响应消息中的Content-Range
总是能返回还有多少个字节未下载。如上面的例子未下载的字节数为5000-1000+1=4001
。
6.
开始下载文件，并计算下载进度（百分比形式）。如果网络连接断开时，文件仍未下载完，重新执行第一步。也果文件已经下载完，退出程序。
分析以上六个步骤得知，有四个主要的功能需要实现：
1.
生成HTTP
请求消息，并将其发送到服务器。这个功能由generateHttpRequest
方法来完成。
2.
分析HTTP
响应消息头。这个功能由analyzeHttpHeader
方法来完成。
3.
得到下载文件的实际大小。这个功能由getFileSize
方法来完成。
4.
下载文件。这个功能由download
方法来完成。
以上四个方法均被包含在这个断点续传工具的核心类HttpDownload.java
中。在给出HttpDownload
类的实现之前先给出一个接口DownloadEvent
接口，从这个接口的名字就可以看出，它是用来处理下载过程中的事件的。下面是这个接口的实现代码：
package
download;
public
interface
DownloadEvent
{
void
percent(
long
n);
//
下载进度
void
state(String s);
//
连接过程中的状态切换
void
viewHttpHeaders(String s);
//
枚举每一个响应消息字段
}
从上面的代码可以看出，DownloadEvent
接口中有三个事件方法。在以后的主函数中将实现这个接口，来向控制台输出相应的信息。下面给出了HttpDownload
类的主体框架代码：
001
package
download;
002
003
import
java.net.
*
;
004
import
java.io.
*
;
005
import
java.util.
*
;
006
007
public
class
HttpDownload
008
{
009
private
HashMap httpHeaders
=
new
HashMap();
010
private
String stateCode;
011
012
//
generateHttpRequest方法
013
014
/*
ananlyzeHttpHeader方法
015 *
016 * addHeaderToMap方法
017 *
018 * analyzeFirstLine方法
019
*/
020
021
//
getFileSize方法
022
023
//
download方法
024
025
/*
getHeader方法
026 *
027 * getIntHeader方法
028
*/
029
}
上面的代码只是HttpDownload
类的框架代码，其中的方法并未直正实现。我们可以从中看出第012
、014
、021
和023
行就是上述的四个主要的方法。在016
和018
行的addHeaderToMap
和analyzeFirstLine
方法将在analyzeHttpHeader
方法中用到。而025
和027
行的getHeader
和getIntHeader
方法在getFileSize
和download
方法都会用到。上述的八个方法的实现都会在后面给出。
001
private
void
generateHttpRequest(OutputStream out, String host,
002
String path,
long
startPos)
throws
IOException
003
{
004
OutputStreamWriter writer
=
new
OutputStreamWriter(out);
005
writer.write(
"
GET
"
+
path
+
"
HTTP/1.1
"
);
006
writer.write(
"
Host:
"
+
host
+
"
"
);
007
writer.write(
"
Accept: */*
"
);
008
writer.write(
"
User-Agent: My First Http Download
"
);
009
if
(startPos
>
0
)
//
如果是断点续传，加入Range字段
010
writer.write(
"
Range: bytes=
"
+
String.valueOf(startPos)
+
"
-
"
);
011
writer.write(
"
Connection: close
"
);
012
writer.flush();
013
}
这个方法有四个参数：
1.
OutputStream out
使用Socket
对象的getOutputStream
方法得到的输出流。
2.
String host
下载文件所在的服务器的域名或IP
。
3.
String path
下载文件在服务器上的路径，也就跟在GET
方法后面的部分。
4.
long startPos
从文件的startPos
位置开始下载。如果startPos
为0
，则不生成Range
字段。
001
private
void
analyzeHttpHeader(InputStream inputStream, DownloadEvent de)
002
throws
Exception
003
{
004
String s
=
""
;
005
byte
b
=
-
1
;
006
while
(
true
)
007
{
008
b
=
(
byte
) inputStream.read();
009
if
(b
==
"
"
)
010
{
011
b
=
(
byte
) inputStream.read();
012
if
(b
==
"
"
)
013
{
014
if
(s.equals(
""
))
015
break
;
016
de.viewHttpHeaders(s);
017
addHeaderToMap(s);
018
s
=
""
;
019
}
020
}
021
else
022
s
+=
(
char
) b;
023
}
024
}
025
026
private
void
analyzeFirstLine(String s)
027
{
028
String[] ss
=
s.split(
"
[ ]+
"
);
029
if
(ss.length
>
1
)
030
stateCode
=
ss[
1
];
031
}
032
private
void
addHeaderToMap(String s)
033
{
034
int
index
=
s.indexOf(
"
:
"
);
035
if
(index
>
0
)
036
httpHeaders.put(s.substring(
0
, index), s.substring(index
+
1
) .trim());
037
else
038
analyzeFirstLine(s);
039
}
第
001
〜
024
行：analyzeHttpHeader
方法的实现。这个方法有两个参数。其中inputStream
是用Socket
对象的getInputStream
方法得到的输入流。这个方法是直接使用字节流来分析的HTTP
响应头（主要是因为下载的文件不一定是文本文件；因此，都统一使用字节流来分析和下载），每两个""r"n"
之间的就是一个字段和字段值对。在016
行调用了DownloadEvent
接口的viewHttpHeaders
事件方法来枚举每一个响应头字段。
第
026
〜
031
行：analyzeFirstLine
方法的实现。这个方法的功能是分析响应消息头的第一行，并从中得到状态码后，将其保存在stateCode
变量中。这个方法的参数s
就是响应消息头的第一行。
第
032
〜
039
行：addHeaderToMap
方法的实现。这个方法的功能是将每一个响应请求消息字段和字段值加到在HttpDownload
类中定义的httpHeaders
哈希映射中。在第034
行查找每一行消息头是否包含":"
，如果包含":"
，这一行必是消息头的第一行。因此，在第038
行调用了analyzeFirstLine
方法从第一行得到响应状态码。
001
private
String getHeader(String header)
002
{
003
return
(String) httpHeaders.get(header);
004
}
005
private
int
getIntHeader(String header)
006
{
007
return
Integer.parseInt(getHeader(header));
008
}
这两个方法将会在getFileSize
和download
中被调用。它们的功能是从响应消息中根据字段字得到相应的字段值。getHeader
得到字符串形式的字段值，而getIntHeader
得到整数型的字段值。
001
public
long
getFileSize()
002
{
003
long
length
=
-
1
;
004
try
005
{
006
length
=
getIntHeader(
"
Content-Length
"
);
007
String[] ss
=
getHeader(
"
Content-Range
"
).split(
"
[/]
"
);
008
if
(ss.length
>
1
)
009
length
=
Integer.parseInt(ss[
1
]);
010
else
011
length
=
-
1
;
012
}
013
catch
(Exception e)
014
{
015
}
016
return
length;
017
}
getFileSize
方法的功能是得到下载文件的实际大小。首先在006
行通过Content-Length
得到了当前响应消息的实体内容大小。然后在009
行得到了Content-Range
字段值所描述的文件的实际大小("""
后面的值)
。如果Content-Range
字段不存在，则文件的实际大小就是Content-Length
字段的值。如果Content-Length
字段也不存在，则返回-1
，表示文件实际大小无法确定。
001
public
void
download(DownloadEvent de, String url, String localFN,
002
int
cacheSize)
throws
Exception
003
{
004
File file
=
new
File(localFN);
005
long
finishedSize
=
0
;
006
long
fileSize
=
0
;
//
localFN所指的文件的实际大小
007
FileOutputStream fileOut
=
new
FileOutputStream(localFN,
true
);
008
URL myUrl
=
new
URL(url);
009
Socket socket
=
new
Socket();
010
byte
[] buffer
=
new
byte
[cacheSize];
//
下载数据的缓冲
011
012
if
(file.exists())
013
finishedSize
=
file.length();
014
015
//
得到要下载的Web资源的端口号，未提供，默认是80
016
int
port
=
(myUrl.getPort()
==
-
1
)
?
80
: myUrl.getPort();
017
de.state(
"
正在连接
"
+
myUrl.getHost()
+
"
:
"
+
String.valueOf(port));
018
socket.connect(
new
InetSocketAddress(myUrl.getHost(), port),
20000
);
019
de.state(
"
连接成功!
"
);
020
021
//
产生HTTP请求消息
022
generateHttpRequest(socket.getOutputStream(), myUrl.getHost(), myUrl
023
.getPath(), finishedSize);
024
025
InputStream inputStream
=
socket.getInputStream();
026
//
分析HTTP响应消息头
027
analyzeHttpHeader(inputStream, de);
028
fileSize
=
getFileSize();
//
得到下载文件的实际大小
029
if
(finishedSize
>=
fileSize)
030
return
;
031
else
032
{
033
if
(finishedSize
>
0
&&
stateCode.equals(
"
200
"
))
034
return
;
035
}
036
if
(stateCode.charAt(
0
)
!=
"
2
"
)
037
throw
new
Exception(
"
不支持的响应码
"
);
038
int
n
=
0
;
039
long
m
=
finishedSize;
040
while
((n
=
inputStream.read(buffer))
!=
-
1
)
041
{
042
fileOut.write(buffer,
0
, n);
043
m
+=
n;
044
if
(fileSize
!=
-
1
)
045
{
046
de.percent(m
*
100
/
fileSize);
047
}
048
}
049
fileOut.close();
050
socket.close();
051
}
download
方法是断点续传工具的核心方法。它有四个参数：
1.
DownloadEvent de
用于处理下载事件的接口。
2.
String url
要下载文件的URL
。
3.
String localFN
要保存的本地文件名，可以用这个文件的大小来确定已经下载了多少个字节。
4.
int cacheSize
下载数据的缓冲区。也就是一次从服务器下载多个字节。这个值不宜太小，因为，频繁地从服务器下载数据，会降低网络的利用率。一般可以将这个值设为8192
（8K
）。
为了分析下载文件的url
，在008
行使用了URL
类，这个类在以后还会介绍，在这里只要知道使用这个类可以将使用各种协议的url
（包括HTTP
和FTP
协议）的各个部分分解，以便单独使用其中的一部分。
第
029
行：
根据文件的实际大小和已经下载的字节数(finishedSize)
来判断是否文件是否已经下载完成。当文件的实际大小无法确定时，也就是fileSize
返回-1
时，不能下载。
第
033
行：
如果文件已经下载了一部分，并且返回的状态码仍是200
（应该是206
），则表明服务器并不支持断点续传。当然，这可以根据另一个字段Accept-Ranges
来判断。
第
036
行：
由于本程序未考虑重定向(
状态码是3xx)
的情况，因此，在使用download
时，不要下载返回3xx
状态码的Web
资源。
第
040
〜
048
行：
开始下载文件。第046
行调用DownloadEvent
的percent
方法来返回下载进度。
001
package
download;
002
003
import
java.io.
*
;
004
005
class
NewProgress
implements
DownloadEvent
006
{
007
private
long
oldPercent
=
-
1
;
008
public
void
percent(
long
n)
009
{
010
if
(n
>
oldPercent)
011
{
012
System.out.print(
"
[
"
+
String.valueOf(n)
+
"
%]
"
);
013
oldPercent
=
n;
014
}
015
}
016
public
void
state(String s)
017
{
018
System.out.println(s);
019
}
020
public
void
viewHttpHeaders(String s)
021
{
022
System.out.println(s);
023
}
024
}
025
026
public
class
Main
027
{
028
public
static
void
main(String[] args)
throws
Exception
029
{
030
031
DownloadEvent progress
=
new
NewProgress();
032
if
(args.length
<
1
)
033
{
034
System.out.println(
"
用法：java class 下载文件名
"
);
035
return
;
036
}
037
FileInputStream fis
=
new
FileInputStream(args[
0
]);
038
BufferedReader fileReader
=
new
BufferedReader(
new
InputStreamReader(
039
fis));
040
String s
=
""
;
041
String[] ss;
042
while
((s
=
fileReader.readLine())
!=
null
)
043
{
044
try
045
{
046
ss
=
s.split(
"
[ ]+
"
);
047
if
(ss.length
>
2
)
048
{
049
System.out.println(
"
---------------------------
"
);
050
System.out.println(
"
正在下载:
"
+
ss[
0
]);
051
System.out.println(
"
文件保存位置:
"
+
ss[
1
]);
052
System.out.println(
"
下载缓冲区大小:
"
+
ss[
2
]);
053
System.out.println(
"
---------------------------
"
);
054
HttpDownload httpDownload
=
new
HttpDownload();
055
httpDownload.download(
new
NewProgress(), ss[
0
], ss[
1
],
056
Integer.parseInt(ss[
2
]));
057
}
058
}
059
catch
(Exception e)
060
{
061
System.out.println(e.getMessage());
062
}
063
}
064
fileReader.close();
065
}
066
}
第
005
〜
024
行：
实现DownloadEvent
接口的NewDownloadEvent
类。用于在Main
函数里接收相应事件传递的数据。
第
026
〜
065
行：
下载工具的Main
方法。在这个Main
方法里，打开下载资源列表文件，逐行下载相应的Web
资源。
测试
假设download.txt
在当前目录中，内容如下：
http://files.cnblogs.com/nokiaguy/HttpSimulator.rar HttpSimulator.rar
8192
http://files.cnblogs.com/nokiaguy/designpatterns.rar designpatterns.rar
4096
http://files.cnblogs.com/nokiaguy/download.rar download.rar 8192
这两个URL
是在本机的Web
服务器(
如IIS)
的虚拟目录中的两个文件，将它们下载在D
盘根目录。
运行下面的命令：
java download.Main download.txt
运行的结果如图1
所示。
请务必保留此出处http://androidguy.blog.51cto.com/974126/214410
源码下载：http://file.javaxxz.com/2014/11/4/000219390.rar |
|
|手机版|Java学习者论坛
( 声明：本站资料整理自互联网，用于Java学习者交流学习使用，对资料版权不负任何法律责任，若有侵权请及时联系客服屏蔽删除 )
发表于 2014-11-4 00:02:20