提交 61aa4c0b 编写于 作者: W wizardforcel

ch7

上级 b7f696d0
# 第七章 到达哲学
> 原文:[Chapter 7 Getting to Philosophy](http://greenteapress.com/thinkdast/html/thinkdast008.html)
> 译者:[飞龙](https://github.com/wizardforcel)
> 协议:[CC BY-NC-SA 4.0](http://creativecommons.org/licenses/by-nc-sa/4.0/)
> 自豪地采用[谷歌翻译](https://translate.google.cn/)
本章的目标是开发一个 Web 爬虫,它测试了第 6.1 节中提到的“到达哲学”猜想。
## 7.1 起步
......@@ -167,3 +175,34 @@ for (String url: urlList) {
注意:我的`WikiFetcher`实现很简单,但是通过创建多个实例,人们很容易误用它。你可以通过制作`WikiFetcher`“单例” 来避免这个问题,你可以阅读 <http://thinkdast.com/singleton>
## 7.4 练习 5
`WikiPhilosophy.java`中,你会发现一个简单的`main`方法,展示了如何使用这些部分。从这个代码开始,你的工作是写一个爬虫:
1. 获取维基百科页面的 URL,下载并分析。
1. 它应该遍历所得到的 DOM 树来找到第一个 有效的链接。我会在下面解释“有效”的含义。
1. 如果页面没有链接,或者如果第一个链接是我们已经看到的页面,程序应该指示失败并退出。
1. 如果链接匹配维基百科页面上的哲学网址,程序应该提示成功并退出。
1. 否则应该回到步骤`1`
该程序应该为它访问的 URL 构建`List`,并在结束时显示结果(无论成功还是失败)。
那么我们应该认为什么是“有效的”链接?你在这里有一些选择 各种版本的“到达哲学”推测使用略有不同的规则,但这里有一些选择:
+ 这个链接应该在页面的内容文本中,而不是侧栏或弹出框。
+ 它不应该是斜体或括号。
+ 你应该跳过外部链接,当前页面的链接和红色链接。
+ 在某些版本中,如果文本以大写字母开头,则应跳过链接。
你不必遵循所有这些规则,但我们建议你至少处理括号,斜体以及当前页面的链接。
如果你有足够的信息来起步,请继续。或者你可能想要阅读这些提示:
+ 当你遍历树的时候,你将需要处理的两种`Node``TextNode``Element`。如果你找到一个`Element`,你可能需要转换它的类型,来访问标签和其他信息。
+ 当你找到包含链接的`Element`时,通过向上跟踪父节点链,可以检查是否是斜体。如果父节点链中有一个`<i>``<em>`标签,链接为斜体。
+ 为了检查链接是否在括号中,你必须在遍历树时扫描文本,并跟踪开启和闭合括号(理想情况下,你的解决方案应该能够处理嵌套括号(像这样))。
如果你从 Java 页面开始,你应该在跟随七个链接之后到达哲学,除非我运行代码后发生了改变。
好的,这就是你所得到的所有帮助。现在全靠你了。玩的开心!
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册