Java网络爬虫怎么实现？

网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。\x0d\x0a传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。对于垂直搜索来说，聚焦爬虫，即有针对性地爬取特定主题网页的爬虫，更为适合。\x0d\x0a\x0d\x0a以下是一个使用java实现的简单爬虫核心代码：\x0d\x0apublic void crawl() throws Throwable { \x0d\x0a while (continueCrawling()) { \x0d\x0a CrawlerUrl url = getNextUrl(); //获取待爬取队列中的下一个URL \x0d\x0a if (url != null) { \x0d\x0a printCrawlInfo(); \x0d\x0a String content = getContent(url); //获取URL的文本信息 \x0d\x0a \x0d\x0a //聚焦爬虫只爬取与主题内容相关的网页，这里采用正则匹配简单处理 \x0d\x0a if (isContentRelevant(content, this.regexpSearchPattern)) { \x0d\x0a saveContent(url, content); //保存网页至本地 \x0d\x0a \x0d\x0a //获取网页内容中的链接，并放入待爬取队列中 \x0d\x0a Collection urlStrings = extractUrls(content, url); \x0d\x0a addUrlsToUrlQueue(url, urlStrings); \x0d\x0a } else { \x0d\x0a System.out.println(url + " is not relevant ignoring ..."); \x0d\x0a } \x0d\x0a \x0d\x0a //延时防止被对方屏蔽 \x0d\x0a Thread.sleep(this.delayBetweenUrls); \x0d\x0a } \x0d\x0a } \x0d\x0a closeOutputStream(); \x0d\x0a}\x0d\x0aprivate CrawlerUrl getNextUrl() throws Throwable { \x0d\x0a CrawlerUrl nextUrl = null; \x0d\x0a while ((nextUrl == null) (!urlQueue.isEmpty())) { \x0d\x0a CrawlerUrl crawlerUrl = this.urlQueue.remove(); \x0d\x0a //doWeHavePermissionToVisit：是否有权限访问该URL，友好的爬虫会根据网站提供的"Robot.txt"中配置的规则进行爬取 \x0d\x0a //isUrlAlreadyVisited：URL是否访问过，大型的搜索引擎往往采用BloomFilter进行排重，这里简单使用HashMap \x0d\x0a //isDepthAcceptable：是否达到指定的深度上限。爬虫一般采取广度优先的方式。一些网站会构建爬虫陷阱（自动生成一些无效链接使爬虫陷入死循环），采用深度限制加以避免 \x0d\x0a if (doWeHavePermissionToVisit(crawlerUrl) \x0d\x0a (!isUrlAlreadyVisited(crawlerUrl)) \x0d\x0a isDepthAcceptable(crawlerUrl)) { \x0d\x0a nextUrl = crawlerUrl; \x0d\x0a // System.out.println("Next url to be visited is " + nextUrl); \x0d\x0a } \x0d\x0a } \x0d\x0a return nextUrl; \x0d\x0a}\x0d\x0aprivate String getContent(CrawlerUrl url) throws Throwable { \x0d\x0a //HttpClient4.1的调用与之前的方式不同 \x0d\x0a HttpClient client = new DefaultHttpClient(); \x0d\x0a HttpGet httpGet = new HttpGet(url.getUrlString()); \x0d\x0a StringBuffer strBuf = new StringBuffer(); \x0d\x0a HttpResponse response = client.execute(httpGet); \x0d\x0a if (HttpStatus.SC_OK == response.getStatusLine().getStatusCode()) { \x0d\x0a HttpEntity entity = response.getEntity(); \x0d\x0a if (entity != null) { \x0d\x0a BufferedReader reader = new BufferedReader( \x0d\x0a new InputStreamReader(entity.getContent(), "UTF-8")); \x0d\x0a String line = null; \x0d\x0a if (entity.getContentLength() 0) { \x0d\x0a strBuf = new StringBuffer((int) entity.getContentLength()); \x0d\x0a while ((line = reader.readLine()) != null) { \x0d\x0a strBuf.append(line); \x0d\x0a } \x0d\x0a } \x0d\x0a } \x0d\x0a if (entity != null) { \x0d\x0a nsumeContent(); \x0d\x0a } \x0d\x0a } \x0d\x0a //将url标记为已访问 \x0d\x0a markUrlAsVisited(url); \x0d\x0a return strBuf.toString(); \x0d\x0a}\x0d\x0apublic static boolean isContentRelevant(String content, \x0d\x0aPattern regexpPattern) { \x0d\x0a boolean retValue = false; \x0d\x0a if (content != null) { \x0d\x0a //是否符合正则表达式的条件 \x0d\x0a Matcher m = regexpPattern.matcher(content.toLowerCase()); \x0d\x0a retValue = m.find(); \x0d\x0a } \x0d\x0a return retValue; \x0d\x0a}\x0d\x0apublic List extractUrls(String text, CrawlerUrl crawlerUrl) { \x0d\x0a Map urlMap = new HashMap(); \x0d\x0a extractHttpUrls(urlMap, text); \x0d\x0a extractRelativeUrls(urlMap, text, crawlerUrl); \x0d\x0a return new ArrayList(urlMap.keySet()); \x0d\x0a} \x0d\x0aprivate void extractHttpUrls(Map urlMap, String text) { \x0d\x0a Matcher m = (text); \x0d\x0a while (m.find()) { \x0d\x0a String url = m.group(); \x0d\x0a String[] terms = url.split("a href=\""); \x0d\x0a for (String term : terms) { \x0d\x0a // System.out.println("Term = " + term); \x0d\x0a if (term.startsWith("http")) { \x0d\x0a int index = term.indexOf("\""); \x0d\x0a if (index 0) { \x0d\x0a term = term.substring(0, index); \x0d\x0a } \x0d\x0a urlMap.put(term, term); \x0d\x0a System.out.println("Hyperlink: " + term); \x0d\x0a } \x0d\x0a } \x0d\x0a } \x0d\x0a} \x0d\x0aprivate void extractRelativeUrls(Map urlMap, String text, \x0d\x0a CrawlerUrl crawlerUrl) { \x0d\x0a Matcher m = relativeRegexp.matcher(text); \x0d\x0a URL textURL = crawlerUrl.getURL(); \x0d\x0a String host = textURL.getHost(); \x0d\x0a while (m.find()) { \x0d\x0a String url = m.group(); \x0d\x0a String[] terms = url.split("a href=\""); \x0d\x0a for (String term : terms) { \x0d\x0a if (term.startsWith("/")) { \x0d\x0a int index = term.indexOf("\""); \x0d\x0a if (index 0) { \x0d\x0a term = term.substring(0, index); \x0d\x0a } \x0d\x0a String s = //" + host + term; \x0d\x0a urlMap.put(s, s); \x0d\x0a System.out.println("Relative url: " + s); \x0d\x0a } \x0d\x0a } \x0d\x0a } \x0d\x0a \x0d\x0a}\x0d\x0apublic static void main(String[] args) { \x0d\x0a try { \x0d\x0a String url = ""; \x0d\x0a Queue urlQueue = new LinkedList(); \x0d\x0a String regexp = "java"; \x0d\x0a urlQueue.add(new CrawlerUrl(url, 0)); \x0d\x0a NaiveCrawler crawler = new NaiveCrawler(urlQueue, 100, 5, 1000L, \x0d\x0a regexp); \x0d\x0a // boolean allowCrawl = crawler.areWeAllowedToVisit(url); \x0d\x0a // System.out.println("Allowed to crawl: " + url + " " + \x0d\x0a // allowCrawl); \x0d\x0a crawler.crawl(); \x0d\x0a } catch (Throwable t) { \x0d\x0a System.out.println(t.toString()); \x0d\x0a t.printStackTrace(); \x0d\x0a } \x0d\x0a}

创新互联专注于英吉沙企业网站建设,响应式网站,商城网站建设。英吉沙网站建设公司,为英吉沙等地区提供建站服务。全流程定制网站，专业设计，全程项目跟踪，创新互联专业和态度为您提供的服务

java 搜索引擎

用lucene检索包，很强大。到官网下一个最新版本就可以进行二次开发。

至于中文支持，可以使用流行的中文分词包，建议用用paoding。

跪求一个java的新闻搜索引擎的源代码

下载solr3.5服务器下来，里面有example例子，再百度“solr 3.5配置”，会出来 “solr 3.5 配置及应用” 的列表， 你照着里面配置好，就可以基于服务器进行搜索了，网上现成的例子是没有的，当时我用的时候也找了好久

怎么用java 开发一个搜索引擎呀？

一．           创建索引

1．一般创建索引的核心步骤

（1）. 创建索引写入对象IndexWriter：

IndexWriter indexWriter = new IndexWriter(INDEX_STORE_PATH,new StandardAnalyzer(),create);

参数说明：INDEX_STORE_PATH：  索引文件存放路径

new StandardAnalyzer()： 分词工具

create： 此参数为Boolean型，true表示重新创建整个索引， false 表示增量式创建索引。

（2）．创建文档模型,并用IndexWriter对象写入

Document doc = new Document();

Field field1 = new Field(fieldName1, fieldValue ,  Field.Store.YES, Field.Index.TOKENIZED);

doc.add(field1);

Field field2 = new Field(fieldName2, fieldValue ,  Field.Store.YES, Field.Index.TOKENIZED);

doc.add(field2)；

……

indexWriter.addDocument(doc);

indexWriter.close();

参数说明：

Document ：负责搜集数据源,它可以从不同的物理文件提取数据并放入同一个Document 中或从一个物理文件中提取出不同的数据并放入同一个Document中。

如下图所示

           

Field ：用来表示不同的数据源

fieldName1: 表示field名称

fieldValue:  表示field 的值

Field.Store.YES,：表示是否在索引文件中完整的存储该值。

在创建索引时，有些内容需要以摘要的形式完整地或以片段的方式显示在页面上，来便于用户查找想要的记录，那么就应该选择存储,如果不需要完整或片段的显示就不需要存储。

Field.Index.TOKENIZED ：表示是否索引和分词。

只要是需要当作关键字让用户查找的字段就需要建立索引。

在建立索引的过程中，如果像文章标题、文章内容这样的Field, 一般是靠用户输入几个关键字来查询的，就应该选择分词。

如果需要用户输入完整字符也就是精确查找才能查询到的，例如：beanName，就可以不分词。

Document最直观的理解方式：

Document就相当于我们平台中的一个普通javaBean,，而Field 就是javaBean中的一个属性。lucene搜索的机制就是靠搜索指定的Field的值 ，来得到含有要搜索内容的Document 集合，所以问题的关键在于如何组织Document .

2．结合平台创建索引的思路

(1) 经分析搜索元素应该由如下内容组成（Document的属性）

(2) 数据库数据转化为Document 的构造过程：

JavaBean / Attachment     →   (Temp Object) BaseData  →   (Finally Object) Document

分析：

要建立索引的源数据分为两大部分：一个是数据库数据 BeanData ,另一个是附件数据 FileData , 这样可以建立一个抽象类 BaseData , 来存放它们共有的属性。同时为了管理这些相应的数据，在相同的等级结构上，建立了相应的管理类（xxxDataManager） ，对这些数据类的操作（建立或删除索引）进行管理，并用一个工厂类(DataManagerFactory)来创建所需要的管理类，IndexHelper用来充当整个索引模块对外的接口，为了实现一些与平台特定的业务，特用SupportManager来提供一些额外的业务支持，索引模块代码结构如下图所示。

二．搜索索引

1.   lucene 搜索的核心步骤：

String[]  fields  =  {“title”, “summary”,……};     //要查找的field范围

BooleanClause.Occur[]   flags  =  {BooleanClause.Occur.SHOULD, BooleanClause.Occur. MUST ,……};

Query  query = MultiFieldQueryParser.parse(queryStr, fields,flags,new StandardAnalyzer());

Hits  hits  =  new  IndexSearcher(INDEX_STORE_PATH).search(query);

for (int i = 0;i hitsLength ; i++)

{

Document doc = hits.doc(i);

String title = doc.get(“title”);

String summary = doc.get(“summary”);

// 搜索出来的结果高亮显示在页面上

if (title != null) {

TokenStream tokenStream = analyzer.tokenStream(“title”,new StringReader(title));

String highlighterValue = highlighter.getBestFragment(tokenStream, title) ;

if(highlighterValue != null){

title = highlighterValue ;

}

//log.info("SearchHelper.search.title="+title);

}

if(summary!= null){

TokenStream tokenStream = analyzer.tokenStream(“summary”,new StringReader(summary));

String highlighterValue = highlighter.getBestFragment(tokenStream, creator) ;

if(highlighterValue != null){

summary = highlighterValue ;

}

//log.info("SearchHelper.search. summary ="+ summary);

}

}

2．结合平台构造搜索模块

PageData 类用来存放检索结果集数据。

PageInfo 类用来存放页面相关信息例如，PageData对象集合、总记录个数、每一页的记录数、 总页面数量等等。

SearchHelper用来充当整个搜索模块的对外接口。

三．为平台组件添加索引的步骤（以知识中心为例）

1．在com.cscec.oa.searchengine.extend.module 目录下添加一个新的package

例如：com.cscec.oa.searchengine.extend.module.resourcestore

2．在新的目录下建立data package 并建立相应的数据类，并使这个数据类继承BeanData。

例如：

package com.cscec.oa.searchengine.extend.module.resourcestore.data

public class ResourceStoreBeanData extends BeanData{

}

3. 与data package 同一级目录建立manager package 并建立相应管理类，并使这个管理类继承BeanDataManager

例如：

com.cscec.oa.searchengine.extend.module.resourcestore.manager

public class ResourceStoreBeanDataManagerImpl extends BeanDataManager{

}

4．以管理员的身份登陆OA后，在菜单中找到“索引模块管理”链接，将相应信息添加完成后，便可以在List 页面 点击“创建索引”对该模块的数据进行索引的建立，建立完成后便可以进行查询。

手机java搜索引擎 在那里下载

Java搜索引擎的研究与实现(含文档+源码)br目录 1br摘要 3br第一章 引言 4br第二章 搜索引擎的结构 5br2.1系统概述 5br2.2搜索引擎的构成 5br2.2.1网络机器人 5br2.2.2索引与搜索 5br2.2.3 Web服务器 6br2.3搜索引擎的主要指标及分析 6br2.4小节 6br第三章 网络机器人 7br3.1什么是网络机器人 7br3.2网络机器人的结构分析 7br3.2.1如何解析HTML 7br3.2.2 Spider程序结构 8br3.2.3如何构造Spider程序 9br3.2.4如何提高程序性能 11br3.2.5网络机器人的代码分析 12br3.3小节 14br第四章 基于lucene的索引与搜索 15br4.1什么是Lucene全文检索 15br4.2 Lucene的原理分析 15br4.2.1全文检索的实现机制 15br4.2.2 Lucene的索引效率 15br4.2.3 中文切分词机制 17br4.3 Lucene与Spider的结合 18br4.4小节 21br第五章 基于Tomcat的Web服务器 22br5.1什么是基于Tomcat的Web服务器 22br5.2用户接口设计 22br5.3.1客户端设计 22br5.3.2服务端设计 23br5.3在Tomcat上部署项目 25br5.4小节 25br第六章 搜索引擎策略 26br6.1简介 26br6.2面向主题的搜索策略 26br6.2.1导向词 26br6.2.3权威网页和中心网页 27br6.3小节 27br参考文献 28br

JAVA实现BAIDU的搜索功能

下列的程序实现了数据文件zip方式的压缩和解压缩方法。randomData()函数随机生成

50个double数据,并放在doc字符串变量中;openFile()函数读取ZIP压缩文件;saveFile()函数

将随机生成的数据存到ZIP格式的压缩文件中。

import java.util.zip.*;

import java.awt.event.*;

import java.awt.*;

import java.lang.Math;

import java.io.*;

public class TestZip extends Frame implements ActionListener {

TextArea textarea; ‖显示数据文件的多行文本显示域

TextField infotip; ‖显示数据文件未压缩大小及压缩大小单行文本显示域

String doc; ‖存储随机生成的数据

long doczipsize = 0;‖压缩数据文件的大小

public TestZip(){

‖生成菜单

MenuBar menubar = new MenuBar();

setMenuBar(menubar);

Menu file = new Menu("File",true);

menubar.add(file);

MenuItem neww= new MenuItem("New");

neww.addActionListener(this);

file.add(neww);

MenuItem open=new MenuItem("Open");

open.addActionListener(this);

file.add(open);

MenuItem save=new MenuItem("Save");

save.addActionListener(this);

file.add(save);

MenuItem exit=new MenuItem("Exit");

exit.addActionListener(this);

file.add(exit);

‖随机生成的数据文件的多行文本显示域

add("Center",textarea = new TextArea());

‖提示文本原始大小、压缩大小的单行文本显示域

add("South",infotip = new TextField());

}

public static void main(String args[]){

TestZip ok=new TestZip();

希望采纳 谢谢

当前题目：java搜索引擎代码下载 找java代码的免费网站
浏览地址：http://chengdu.cdxwcx.cn/article/hpdijd.html