它提(ti)供(gong)了获(huo)取(qu)标签名、属(shu)性名、属性(xing)值等(deng)方(fang)法(fa)。TextNode类:代(dai)表HTML中的(de)文(wen)本内(nei)容。

基(ji)础的(de)HTML解析(xi)：从(cong)URL到文本

让我(wo)们从最基(ji)础的(de)开始，看看(kan)如(ru)何(he)使用HTMLParser来解析一个网页并(bing)提取(qu)其(qi)中的文(wen)本内容。

您(nin)需(xu)要将(jiang)HTMLParser添加到您的(de)Java项目中(zhong)。如(ru)果您使用(yong)Maven，可以(yi)在pom.xml中添加如(ru)下依(yi)赖(lai)：

org.htmlparserhtmlparser2.1

我们(men)编写一个(ge)简(jian)单(dan)的Java方法来(lai)解析(xi)URL并提(ti)取文(wen)本：

importorg.htmlparser.Parser;importorg.htmlparser.util.ParserException;importorg.htmlparser.nodes.TextNode;importorg.htmlparser.nodes.CompositeNode;importorg.htmlparser.Node;publicclassHtmlParserExample{publicstaticStringextractTextFromUrl(Stringurl){StringBuildertextContent=newStringBuilder();try{Parserparser=newParser(url);NoderootNode=parser.parse(null);//null表示使(shi)用默(mo)认的ParserFilter//递归(gui)遍(bian)历(li)节点(dian)，提(ti)取(qu)文本extractTextRecursively(rootNode,textContent);}catch(ParserExceptione){e.printStackTrace();return"ErrorparsingURL:"+e.getMessage();}returntextContent.toString();}privatestaticvoidextractTextRecursively(Nodenode,StringBuildertextContent){if(nodeinstanceofTextNode){textContent.append(((TextNode)node).getText()).append("\n");}elseif(nodeinstanceofCompositeNode){Node[]children=node.getChildrenAsNodeArray();if(children!=null){for(Nodechild:children){extractTextRecursively(child,textContent);}}}}publicstaticvoidmain(String[]args){StringwebsiteUrl="http://example.com";//替换(huan)为(wei)您(nin)想(xiang)解(jie)析的URLStringextractedText=extractTextFromUrl(websiteUrl);System.out.println("ExtractedText:\n"+extractedText);}}

在这(zhe)个(ge)例(li)子中，我们(men)首先(xian)创建一个(ge)Parser对象(xiang)，然后(hou)调(diao)用parse(null)方(fang)法(fa)来解析URL。parser.parse(null)返(fan)回的(de)是整个文档的(de)根节点(dian)。接(jie)着，我(wo)们定(ding)义(yi)了一个递归(gui)方法(fa)extractTextRecursively来遍(bian)历(li)文档树(shu)。

当遇(yu)到TextNode时(shi)，我们就(jiu)将(jiang)其(qi)文(wen)本(ben)内容添加到textContent中。

这(zhe)段(duan)代(dai)码展(zhan)示了HTMLParser的基(ji)本用法，它(ta)能够(gou)将一(yi)个完整的HTML页面(mian)“翻译(yi)”成可读的(de)文(wen)本。这对(dui)于(yu)快速预览网页(ye)内(nei)容(rong)或者进(jin)行简(jian)单(dan)的文本(ben)分析(xi)非常(chang)有用(yong)。这(zhe)仅仅(jin)是HTMLParser冰(bing)山(shan)一角(jiao)。在接下来(lai)的部分，我们将(jiang)深入挖掘它更(geng)强大(da)的功能，让您能(neng)够精(jing)确地定(ding)位并提(ti)取您所需(xu)的数据。

定(ding)位(wei)与提(ti)取：精(jing)准抓取(qu)您需(xu)要的(de)信息

在实(shi)际应(ying)用中，我们通常(chang)不会想(xiang)要提(ti)取(qu)网页的全部文本，而(er)是需要精(jing)确地定(ding)位到特(te)定的元素(su)，例如(ru)所有的链(lian)接、特(te)定class的div、或者(zhe)某(mou)个(ge)id的元素。HTMLParser提供了(le)强大的(de)过(guo)滤和(he)查找机制(zhi)，让这(zhe)种(zhong)精确操作变得触(chu)手可(ke)及(ji)。

1.使(shi)用NodeFilter进行(xing)精(jing)确匹(pi)配

HTMLParser的(de)核(he)心过滤(lv)机(ji)制(zhi)是NodeFilter接口(kou)。您(nin)可(ke)以实(shi)现这个(ge)接口，定义(yi)自(zi)己(ji)的过(guo)滤规则，来(lai)选择(ze)您感(gan)兴趣(qu)的节(jie)点(dian)。最常用(yong)的NodeFilter实(shi)现类是(shi)TagNameFilter（按(an)标签(qian)名(ming)过(guo)滤）和(he)AndFilter（组(zu)合多个(ge)过滤(lv)器）。