它(ta)提(ti)供了(le)获取(qu)标签名(ming)、属(shu)性(xing)名(ming)、属性(xing)值等(deng)方法(fa)。TextNode类:代表HTML中(zhong)的文(wen)本内(nei)容(rong)。

基础的(de)HTML解析(xi)：从URL到(dao)文本(ben)

让我(wo)们从最基(ji)础(chu)的(de)开(kai)始，看看如何使用(yong)HTMLParser来解析一个网(wang)页并提取其(qi)中(zhong)的文本内容。

您(nin)需要(yao)将HTMLParser添(tian)加到您的(de)Java项(xiang)目(mu)中。如果您(nin)使用(yong)Maven，可(ke)以在pom.xml中添加(jia)如(ru)下(xia)依赖：

org.htmlparserhtmlparser2.1

我们编写(xie)一个(ge)简(jian)单(dan)的Java方(fang)法来解析(xi)URL并提取文(wen)本(ben)：

importorg.htmlparser.Parser;importorg.htmlparser.util.ParserException;importorg.htmlparser.nodes.TextNode;importorg.htmlparser.nodes.CompositeNode;importorg.htmlparser.Node;publicclassHtmlParserExample{publicstaticStringextractTextFromUrl(Stringurl){StringBuildertextContent=newStringBuilder();try{Parserparser=newParser(url);NoderootNode=parser.parse(null);//null表示使(shi)用默认的ParserFilter//递归(gui)遍历节(jie)点，提取文本(ben)extractTextRecursively(rootNode,textContent);}catch(ParserExceptione){e.printStackTrace();return"ErrorparsingURL:"+e.getMessage();}returntextContent.toString();}privatestaticvoidextractTextRecursively(Nodenode,StringBuildertextContent){if(nodeinstanceofTextNode){textContent.append(((TextNode)node).getText()).append("\n");}elseif(nodeinstanceofCompositeNode){Node[]children=node.getChildrenAsNodeArray();if(children!=null){for(Nodechild:children){extractTextRecursively(child,textContent);}}}}publicstaticvoidmain(String[]args){StringwebsiteUrl="http://example.com";//替(ti)换(huan)为(wei)您想(xiang)解(jie)析的(de)URLStringextractedText=extractTextFromUrl(websiteUrl);System.out.println("ExtractedText:\n"+extractedText);}}

在这个例(li)子(zi)中(zhong)，我们首先创建一个Parser对象(xiang)，然后(hou)调(diao)用(yong)parse(null)方法(fa)来解析URL。parser.parse(null)返回的(de)是整个文档(dang)的(de)根节点(dian)。接着，我(wo)们定义了一个(ge)递归(gui)方(fang)法extractTextRecursively来遍(bian)历文档树(shu)。

当(dang)遇(yu)到TextNode时，我(wo)们(men)就将其(qi)文(wen)本(ben)内(nei)容添(tian)加到(dao)textContent中(zhong)。

这段代码展示了HTMLParser的基本(ben)用法，它能够(gou)将一(yi)个完(wan)整的(de)HTML页(ye)面(mian)“翻译”成(cheng)可(ke)读(du)的文本。这对(dui)于快(kuai)速预(yu)览网(wang)页内(nei)容或者进(jin)行(xing)简单的(de)文本分析(xi)非(fei)常有用(yong)。这(zhe)仅仅是(shi)HTMLParser冰山(shan)一角(jiao)。在(zai)接下来(lai)的(de)部分，我(wo)们(men)将深入挖掘(jue)它(ta)更强大的功能(neng)，让(rang)您能够(gou)精(jing)确地定位并(bing)提取您所(suo)需(xu)的数(shu)据。

定(ding)位与提取(qu)：精准抓取您(nin)需要的信息(xi)

在实(shi)际应(ying)用中，我们通常(chang)不会(hui)想要(yao)提取网页(ye)的全部(bu)文(wen)本，而(er)是需(xu)要精确地定(ding)位到特(te)定的(de)元(yuan)素(su)，例如(ru)所有(you)的链接、特(te)定class的(de)div、或者(zhe)某个(ge)id的元素。HTMLParser提(ti)供(gong)了(le)强大(da)的过(guo)滤和(he)查找(zhao)机制，让这(zhe)种精确(que)操作变(bian)得触手可及(ji)。

1.使用NodeFilter进行精确匹(pi)配

HTMLParser的核(he)心(xin)过滤机制(zhi)是(shi)NodeFilter接口。您可以实现(xian)这个(ge)接(jie)口，定(ding)义自己(ji)的过滤(lv)规则，来(lai)选择(ze)您(nin)感兴趣的节(jie)点。最常用(yong)的(de)NodeFilter实现类是TagNameFilter（按(an)标签(qian)名(ming)过滤）和(he)AndFilter（组合多(duo)个(ge)过滤(lv)器）。