它提供(gong)了(le)获取(qu)标签(qian)名、属(shu)性名、属性值等(deng)方(fang)法(fa)。TextNode类(lei):代表(biao)HTML中的文(wen)本内容。

基(ji)础的(de)HTML解析(xi)：从URL到文(wen)本(ben)

让我(wo)们(men)从最基(ji)础的开始(shi)，看看(kan)如何使(shi)用(yong)HTMLParser来(lai)解析一个网(wang)页并提(ti)取(qu)其(qi)中的文(wen)本(ben)内容。

您需要(yao)将HTMLParser添(tian)加到(dao)您的(de)Java项目(mu)中。如果您(nin)使用Maven，可(ke)以(yi)在pom.xml中(zhong)添加如(ru)下依赖(lai)：

org.htmlparserhtmlparser2.1

我们(men)编(bian)写一个简单(dan)的Java方法来(lai)解析(xi)URL并(bing)提取(qu)文(wen)本：

importorg.htmlparser.Parser;importorg.htmlparser.util.ParserException;importorg.htmlparser.nodes.TextNode;importorg.htmlparser.nodes.CompositeNode;importorg.htmlparser.Node;publicclassHtmlParserExample{publicstaticStringextractTextFromUrl(Stringurl){StringBuildertextContent=newStringBuilder();try{Parserparser=newParser(url);NoderootNode=parser.parse(null);//null表示使用默认(ren)的ParserFilter//递归遍历节点(dian)，提取文本extractTextRecursively(rootNode,textContent);}catch(ParserExceptione){e.printStackTrace();return"ErrorparsingURL:"+e.getMessage();}returntextContent.toString();}privatestaticvoidextractTextRecursively(Nodenode,StringBuildertextContent){if(nodeinstanceofTextNode){textContent.append(((TextNode)node).getText()).append("\n");}elseif(nodeinstanceofCompositeNode){Node[]children=node.getChildrenAsNodeArray();if(children!=null){for(Nodechild:children){extractTextRecursively(child,textContent);}}}}publicstaticvoidmain(String[]args){StringwebsiteUrl="http://example.com";//替(ti)换为(wei)您想解(jie)析的URLStringextractedText=extractTextFromUrl(websiteUrl);System.out.println("ExtractedText:\n"+extractedText);}}

在这(zhe)个(ge)例(li)子中，我们首先(xian)创建一个(ge)Parser对象，然后调用parse(null)方法(fa)来解析URL。parser.parse(null)返回的(de)是整(zheng)个文(wen)档的(de)根节点(dian)。接(jie)着，我们定义了一个(ge)递归(gui)方法extractTextRecursively来遍历文(wen)档树。

当遇(yu)到TextNode时(shi)，我们(men)就(jiu)将其文本内容添(tian)加到textContent中(zhong)。

这段代(dai)码展示了(le)HTMLParser的基(ji)本(ben)用法，它(ta)能够(gou)将一(yi)个完(wan)整的(de)HTML页面“翻(fan)译(yi)”成可(ke)读的(de)文(wen)本。这对(dui)于快速(su)预(yu)览网页(ye)内(nei)容(rong)或者进(jin)行简(jian)单(dan)的文本(ben)分析非常(chang)有用(yong)。这仅仅是(shi)HTMLParser冰山(shan)一角(jiao)。在(zai)接下来的部(bu)分(fen)，我(wo)们将(jiang)深入(ru)挖(wa)掘它更强大(da)的功(gong)能，让(rang)您(nin)能够精确地(di)定位并提(ti)取您(nin)所需的数据。

定(ding)位(wei)与提取：精准(zhun)抓取(qu)您(nin)需要(yao)的(de)信(xin)息(xi)

在实际应用中(zhong)，我(wo)们通常(chang)不会想(xiang)要提取(qu)网(wang)页的全(quan)部文(wen)本，而是需(xu)要精(jing)确(que)地(di)定(ding)位(wei)到特(te)定(ding)的(de)元(yuan)素(su)，例如(ru)所有(you)的(de)链接、特(te)定class的div、或者(zhe)某(mou)个(ge)id的元(yuan)素(su)。HTMLParser提(ti)供了(le)强大的(de)过滤和(he)查找机(ji)制，让这(zhe)种精(jing)确操(cao)作(zuo)变(bian)得触(chu)手(shou)可及。

1.使(shi)用NodeFilter进行(xing)精(jing)确(que)匹(pi)配

HTMLParser的核(he)心过滤(lv)机制是NodeFilter接口。您可(ke)以实现(xian)这个(ge)接(jie)口(kou)，定(ding)义自己的过(guo)滤规(gui)则，来(lai)选择(ze)您(nin)感(gan)兴趣的节(jie)点。最常用(yong)的(de)NodeFilter实现类是TagNameFilter（按(an)标签名过滤）和AndFilter（组合多个过滤(lv)器）。