你是要抓网页源代码,还是浏览器渲染后的body;
成都创新互联公司提供高防服务器、云服务器、香港服务器、德阳机房托管等
如果是网页源代码,很简单,用java自带的http就好了;
如果是渲染后的body(包括js和ajax执行后的页面),需要调用无界面浏览器,然后通过api获得返回的数据
import java.util.HashSet;
import java.util.Set;
public class ShortSet {
public static void main(String[] args) {
SetShort s = new HashSetShort();
for (Short i = 0; i 100; i++) {
short j = 100;
s.add(j);
short w = 100;
w = (short) (w - 1 + 1);
s.remove(w);
}
System.out.println(s.size());
for (Short i = 0; i 100; i++) {
s.add(i);
//关键的问题在于这里 i- 1
//Type mismatch: cannot convert from int to short
//下面这句话会报错,为什么,因为i-1是int类型,不是short类型的,如果你像我上面做的进行强制类型转化的话,看下面
// short st = i - 1;
s.remove(i - 1);
}
System.out.println(s.size());
for (Short i = 0; i 100; i++) {
s.add(i);
//结果就是1,最后一个100没有进行删除操作
s.remove((short)(i - 1));
}
System.out.println(s.size());
}
}
根据java网络编程相关的内容,使用jdk提供的相关类可以得到url对应网页的html页面代码。
针对得到的html代码,通过使用正则表达式即可得到我们想要的内容。
比如,我们如果想得到一个网页上所有包括“java”关键字的文本内容,就可以逐行对网页代码进行正则表达式的匹配。最后达到去除html标签和不相关的内容,只得到包括“java”这个关键字的内容的效果。
从网页上爬取图片的流程和爬取内容的流程基本相同,但是爬取图片的步骤会多一步。
需要先用img标签的正则表达式匹配获取到img标签,再用src属性的正则表达式获取这个img标签中的src属性的图片url,然后再通过缓冲输入流对象读取到这个图片url的图片信息,配合文件输出流将读到的图片信息写入到本地即可。