Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
OpenDocCN
think-dast-zh
提交
61aa4c0b
T
think-dast-zh
项目概览
OpenDocCN
/
think-dast-zh
8 个月 前同步成功
通知
0
Star
26
Fork
13
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
T
think-dast-zh
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
前往新版Gitcode,体验更适合开发者的 AI 搜索 >>
提交
61aa4c0b
编写于
9月 04, 2017
作者:
W
wizardforcel
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
ch7
上级
b7f696d0
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
39 addition
and
0 deletion
+39
-0
7.md
7.md
+39
-0
未找到文件。
7.md
浏览文件 @
61aa4c0b
# 第七章 到达哲学
> 原文:[Chapter 7 Getting to Philosophy](http://greenteapress.com/thinkdast/html/thinkdast008.html)
> 译者:[飞龙](https://github.com/wizardforcel)
> 协议:[CC BY-NC-SA 4.0](http://creativecommons.org/licenses/by-nc-sa/4.0/)
> 自豪地采用[谷歌翻译](https://translate.google.cn/)
本章的目标是开发一个 Web 爬虫,它测试了第 6.1 节中提到的“到达哲学”猜想。
## 7.1 起步
...
...
@@ -167,3 +175,34 @@ for (String url: urlList) {
注意:我的
`WikiFetcher`
实现很简单,但是通过创建多个实例,人们很容易误用它。你可以通过制作
`WikiFetcher`
“单例” 来避免这个问题,你可以阅读
<http://thinkdast.com/singleton>
。
## 7.4 练习 5
在
`WikiPhilosophy.java`
中,你会发现一个简单的
`main`
方法,展示了如何使用这些部分。从这个代码开始,你的工作是写一个爬虫:
1.
获取维基百科页面的 URL,下载并分析。
1.
它应该遍历所得到的 DOM 树来找到第一个 有效的链接。我会在下面解释“有效”的含义。
1.
如果页面没有链接,或者如果第一个链接是我们已经看到的页面,程序应该指示失败并退出。
1.
如果链接匹配维基百科页面上的哲学网址,程序应该提示成功并退出。
1.
否则应该回到步骤
`1`
。
该程序应该为它访问的 URL 构建
`List`
,并在结束时显示结果(无论成功还是失败)。
那么我们应该认为什么是“有效的”链接?你在这里有一些选择 各种版本的“到达哲学”推测使用略有不同的规则,但这里有一些选择:
+
这个链接应该在页面的内容文本中,而不是侧栏或弹出框。
+
它不应该是斜体或括号。
+
你应该跳过外部链接,当前页面的链接和红色链接。
+
在某些版本中,如果文本以大写字母开头,则应跳过链接。
你不必遵循所有这些规则,但我们建议你至少处理括号,斜体以及当前页面的链接。
如果你有足够的信息来起步,请继续。或者你可能想要阅读这些提示:
+
当你遍历树的时候,你将需要处理的两种
`Node`
是
`TextNode`
和
`Element`
。如果你找到一个
`Element`
,你可能需要转换它的类型,来访问标签和其他信息。
+
当你找到包含链接的
`Element`
时,通过向上跟踪父节点链,可以检查是否是斜体。如果父节点链中有一个
`<i>`
或
`<em>`
标签,链接为斜体。
+
为了检查链接是否在括号中,你必须在遍历树时扫描文本,并跟踪开启和闭合括号(理想情况下,你的解决方案应该能够处理嵌套括号(像这样))。
如果你从 Java 页面开始,你应该在跟随七个链接之后到达哲学,除非我运行代码后发生了改变。
好的,这就是你所得到的所有帮助。现在全靠你了。玩的开心!
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录