它提供了获取(qu)标签名、属(shu)性名、属(shu)性(xing)值(zhi)等方法(fa)。TextNode类:代表HTML中(zhong)的(de)文(wen)本内容。

基(ji)础的(de)HTML解析：从(cong)URL到文本

让(rang)我们从(cong)最基础(chu)的(de)开始(shi)，看看(kan)如(ru)何使用HTMLParser来(lai)解(jie)析一个(ge)网页并提(ti)取(qu)其(qi)中(zhong)的文(wen)本内容。

您需要将HTMLParser添(tian)加到您的(de)Java项目中。如果您使用(yong)Maven，可以在pom.xml中(zhong)添加如(ru)下(xia)依赖：

org.htmlparserhtmlparser2.1

我们(men)编写一个简单(dan)的Java方法来(lai)解析(xi)URL并提(ti)取文(wen)本：

importorg.htmlparser.Parser;importorg.htmlparser.util.ParserException;importorg.htmlparser.nodes.TextNode;importorg.htmlparser.nodes.CompositeNode;importorg.htmlparser.Node;publicclassHtmlParserExample{publicstaticStringextractTextFromUrl(Stringurl){StringBuildertextContent=newStringBuilder();try{Parserparser=newParser(url);NoderootNode=parser.parse(null);//null表示使用默(mo)认的(de)ParserFilter//递归(gui)遍历(li)节点，提取文本(ben)extractTextRecursively(rootNode,textContent);}catch(ParserExceptione){e.printStackTrace();return"ErrorparsingURL:"+e.getMessage();}returntextContent.toString();}privatestaticvoidextractTextRecursively(Nodenode,StringBuildertextContent){if(nodeinstanceofTextNode){textContent.append(((TextNode)node).getText()).append("\n");}elseif(nodeinstanceofCompositeNode){Node[]children=node.getChildrenAsNodeArray();if(children!=null){for(Nodechild:children){extractTextRecursively(child,textContent);}}}}publicstaticvoidmain(String[]args){StringwebsiteUrl="http://example.com";//替换为您(nin)想解(jie)析的URLStringextractedText=extractTextFromUrl(websiteUrl);System.out.println("ExtractedText:\n"+extractedText);}}

在(zai)这(zhe)个(ge)例(li)子中，我们(men)首先(xian)创建(jian)一(yi)个(ge)Parser对象，然后(hou)调用parse(null)方法(fa)来(lai)解析URL。parser.parse(null)返回的(de)是整(zheng)个文档的根(gen)节点(dian)。接着(zhe)，我(wo)们定(ding)义(yi)了一个(ge)递归方法(fa)extractTextRecursively来遍(bian)历(li)文档(dang)树。

当遇(yu)到(dao)TextNode时(shi)，我(wo)们(men)就将其文本(ben)内(nei)容添(tian)加(jia)到textContent中(zhong)。

这(zhe)段(duan)代码展示了HTMLParser的基本用(yong)法，它能(neng)够(gou)将一个(ge)完整的(de)HTML页面“翻译(yi)”成可读的(de)文(wen)本(ben)。这对于快速预览网(wang)页(ye)内(nei)容(rong)或者进(jin)行简(jian)单(dan)的文本分析非(fei)常有用(yong)。这仅(jin)仅是HTMLParser冰山(shan)一(yi)角。在(zai)接(jie)下(xia)来(lai)的部(bu)分，我(wo)们将(jiang)深入挖(wa)掘它更(geng)强大的功(gong)能，让(rang)您能够(gou)精确地(di)定位(wei)并提取您(nin)所(suo)需的(de)数(shu)据(ju)。

定(ding)位(wei)与提取：精(jing)准(zhun)抓取您需要的(de)信息

在(zai)实际应(ying)用中，我们通常(chang)不会想要(yao)提取(qu)网页(ye)的全部文(wen)本，而(er)是需(xu)要精确地定位到特(te)定的元素，例如所有(you)的链接、特(te)定(ding)class的(de)div、或(huo)者(zhe)某(mou)个id的元素(su)。HTMLParser提(ti)供了(le)强大的(de)过(guo)滤和查找(zhao)机制，让这(zhe)种精确操作变(bian)得触(chu)手(shou)可及(ji)。

1.使用NodeFilter进行(xing)精确(que)匹配

HTMLParser的核心(xin)过(guo)滤(lv)机制(zhi)是NodeFilter接口。您(nin)可(ke)以(yi)实现这(zhe)个(ge)接口(kou)，定(ding)义(yi)自(zi)己的过(guo)滤规则，来选择(ze)您感(gan)兴趣的节(jie)点(dian)。最常用(yong)的NodeFilter实现类(lei)是TagNameFilter（按标签(qian)名过(guo)滤）和(he)AndFilter（组合(he)多个(ge)过滤器）。