From 61aa4c0bf9c39638a221865f38be2676093b7dcb Mon Sep 17 00:00:00 2001 From: wizardforcel <562826179@qq.com> Date: Mon, 4 Sep 2017 18:20:34 +0800 Subject: [PATCH] ch7 --- 7.md | 39 +++++++++++++++++++++++++++++++++++++++ 1 file changed, 39 insertions(+) diff --git a/7.md b/7.md index 65223c9..ab74bb9 100644 --- a/7.md +++ b/7.md @@ -1,5 +1,13 @@ # 第七章 到达哲学 +> 原文：[Chapter 7 Getting to Philosophy](http://greenteapress.com/thinkdast/html/thinkdast008.html) + +> 译者：[飞龙](https://github.com/wizardforcel) + +> 协议：[CC BY-NC-SA 4.0](http://creativecommons.org/licenses/by-nc-sa/4.0/) + +> 自豪地采用[谷歌翻译](https://translate.google.cn/) + 本章的目标是开发一个 Web 爬虫，它测试了第 6.1 节中提到的“到达哲学”猜想。 ## 7.1 起步 @@ -167,3 +175,34 @@ for (String url: urlList) { 注意：我的`WikiFetcher`实现很简单，但是通过创建多个实例，人们很容易误用它。你可以通过制作`WikiFetcher`“单例” 来避免这个问题，你可以阅读 。 +## 7.4 练习 5 + +在`WikiPhilosophy.java`中，你会发现一个简单的`main`方法，展示了如何使用这些部分。从这个代码开始，你的工作是写一个爬虫： + +1. 获取维基百科页面的 URL，下载并分析。 +1. 它应该遍历所得到的 DOM 树来找到第一个 有效的链接。我会在下面解释“有效”的含义。 +1. 如果页面没有链接，或者如果第一个链接是我们已经看到的页面，程序应该指示失败并退出。 +1. 如果链接匹配维基百科页面上的哲学网址，程序应该提示成功并退出。 +1. 否则应该回到步骤`1`。 + +该程序应该为它访问的 URL 构建`List`，并在结束时显示结果（无论成功还是失败）。 + +那么我们应该认为什么是“有效的”链接？你在这里有一些选择 各种版本的“到达哲学”推测使用略有不同的规则，但这里有一些选择： + ++ 这个链接应该在页面的内容文本中，而不是侧栏或弹出框。 ++ 它不应该是斜体或括号。 ++ 你应该跳过外部链接，当前页面的链接和红色链接。 ++ 在某些版本中，如果文本以大写字母开头，则应跳过链接。 + +你不必遵循所有这些规则，但我们建议你至少处理括号，斜体以及当前页面的链接。 + +如果你有足够的信息来起步，请继续。或者你可能想要阅读这些提示： + ++ 当你遍历树的时候，你将需要处理的两种`Node`是`TextNode`和`Element`。如果你找到一个`Element`，你可能需要转换它的类型，来访问标签和其他信息。 ++ 当你找到包含链接的`Element`时，通过向上跟踪父节点链，可以检查是否是斜体。如果父节点链中有一个``或``标签，链接为斜体。 ++ 为了检查链接是否在括号中，你必须在遍历树时扫描文本，并跟踪开启和闭合括号（理想情况下，你的解决方案应该能够处理嵌套括号（像这样））。 + +如果你从 Java 页面开始，你应该在跟随七个链接之后到达哲学，除非我运行代码后发生了改变。 + +好的，这就是你所得到的所有帮助。现在全靠你了。玩的开心！ + -- GitLab