它提供了获取(qu)标签名、属(shu)性名(ming)、属性(xing)值等方法(fa)。TextNode类(lei):代(dai)表HTML中的(de)文(wen)本内(nei)容(rong)。

基础的HTML解析(xi)：从URL到文本(ben)

让我(wo)们从最基(ji)础的开始(shi)，看看(kan)如(ru)何(he)使(shi)用HTMLParser来解(jie)析(xi)一个网(wang)页并提取其中的(de)文(wen)本内(nei)容。

您(nin)需要将HTMLParser添加(jia)到您的(de)Java项目(mu)中。如(ru)果(guo)您使用Maven，可(ke)以(yi)在(zai)pom.xml中(zhong)添(tian)加(jia)如(ru)下依(yi)赖(lai)：

org.htmlparserhtmlparser2.1

我(wo)们(men)编写一个(ge)简(jian)单(dan)的(de)Java方法(fa)来(lai)解析URL并(bing)提(ti)取文(wen)本：

importorg.htmlparser.Parser;importorg.htmlparser.util.ParserException;importorg.htmlparser.nodes.TextNode;importorg.htmlparser.nodes.CompositeNode;importorg.htmlparser.Node;publicclassHtmlParserExample{publicstaticStringextractTextFromUrl(Stringurl){StringBuildertextContent=newStringBuilder();try{Parserparser=newParser(url);NoderootNode=parser.parse(null);//null表示(shi)使用默(mo)认的(de)ParserFilter//递归遍历(li)节点，提(ti)取(qu)文本extractTextRecursively(rootNode,textContent);}catch(ParserExceptione){e.printStackTrace();return"ErrorparsingURL:"+e.getMessage();}returntextContent.toString();}privatestaticvoidextractTextRecursively(Nodenode,StringBuildertextContent){if(nodeinstanceofTextNode){textContent.append(((TextNode)node).getText()).append("\n");}elseif(nodeinstanceofCompositeNode){Node[]children=node.getChildrenAsNodeArray();if(children!=null){for(Nodechild:children){extractTextRecursively(child,textContent);}}}}publicstaticvoidmain(String[]args){StringwebsiteUrl="http://example.com";//替(ti)换(huan)为(wei)您(nin)想解(jie)析的URLStringextractedText=extractTextFromUrl(websiteUrl);System.out.println("ExtractedText:\n"+extractedText);}}

在这(zhe)个例(li)子中(zhong)，我们首先(xian)创(chuang)建(jian)一(yi)个Parser对象(xiang)，然后(hou)调用parse(null)方法(fa)来(lai)解析URL。parser.parse(null)返(fan)回的(de)是(shi)整个(ge)文档的(de)根节点(dian)。接着，我们定(ding)义了一个(ge)递归(gui)方(fang)法(fa)extractTextRecursively来遍(bian)历文档树(shu)。

当遇(yu)到TextNode时，我们(men)就(jiu)将其文本(ben)内(nei)容添(tian)加到textContent中。

这段代码展(zhan)示了(le)HTMLParser的(de)基(ji)本用法(fa)，它(ta)能够(gou)将一个完整的(de)HTML页面“翻译”成可(ke)读的(de)文(wen)本。这对(dui)于快速预览网(wang)页内容或(huo)者进(jin)行简单的(de)文(wen)本分析(xi)非(fei)常有用(yong)。这仅仅(jin)是HTMLParser冰(bing)山(shan)一角(jiao)。在接下来(lai)的部分(fen)，我(wo)们(men)将深(shen)入挖(wa)掘它更(geng)强(qiang)大(da)的(de)功(gong)能，让(rang)您能够精(jing)确地定位并提取您(nin)所需(xu)的数据。

定(ding)位(wei)与提取：精准(zhun)抓(zhua)取(qu)您需(xu)要的(de)信息

在实(shi)际应(ying)用中，我(wo)们(men)通常不(bu)会想要(yao)提取(qu)网页的全(quan)部文(wen)本，而(er)是需(xu)要精确地定位(wei)到特(te)定(ding)的元(yuan)素(su)，例(li)如(ru)所有(you)的链接、特(te)定class的div、或者某个(ge)id的元(yuan)素。HTMLParser提供了(le)强(qiang)大的过滤和(he)查找机制，让这(zhe)种精(jing)确操作变(bian)得触(chu)手可(ke)及。

1.使(shi)用NodeFilter进行精确匹配(pei)

HTMLParser的核(he)心(xin)过滤(lv)机制是NodeFilter接口。您可以(yi)实(shi)现(xian)这个(ge)接(jie)口，定义(yi)自(zi)己(ji)的过(guo)滤规则，来选(xuan)择您(nin)感兴趣(qu)的节(jie)点。最常用(yong)的(de)NodeFilter实(shi)现类是TagNameFilter（按(an)标签名过滤）和AndFilter（组合(he)多个(ge)过(guo)滤(lv)器）。