2020-12-29 18:37:05

SUMMARY.md

@@ -205,14 +205,21 @@
     + [CNN原理](docs/dl/CNN原理.md)
     + [RNN原理](docs/dl/RNN原理.md)
     + [LSTM原理](docs/dl/LSTM原理.md)
-+   自然语言处理
-    + [第1章_入门介绍](docs/nlp/1.入门介绍.md)
-    + [第2章_分词](docs/nlp/2.分词.md)
-    + [第3章_命名实体识别](docs/nlp/3.命名实体识别.md)
-    + [第10章_篇章分析-内容概述](docs/nlp/3.1.篇章分析-内容概述.md)
-    + [第10章_篇章分析-内容标签](docs/nlp/3.2.篇章分析-内容标签.md)
-    + [第10章_篇章分析-情感分析](docs/nlp/3.3.篇章分析-情感分析.md)
-    + [第10章_篇章分析-自动摘要](docs/nlp/3.4.篇章分析-自动摘要.md)
++   [自然语言处理](docs/nlp/README.md)
+	+   [前言](docs/nlp/0.md)
+	+   [1 语言处理与 Python](docs/nlp/1.md)
+	+   [2 获得文本语料和词汇资源](docs/nlp/2.md)
+	+   [3 处理原始文本](docs/nlp/3.md)
+	+   [4 编写结构化程序](docs/nlp/4.md)
+	+   [5 分类和标注词汇](docs/nlp/5.md)
+	+   [6 学习分类文本](docs/nlp/6.md)
+	+   [7 从文本提取信息](docs/nlp/7.md)
+	+   [8 分析句子结构](docs/nlp/8.md)
+	+   [9 构建基于特征的语法](docs/nlp/9.md)
+	+   [10 分析句子的意思](docs/nlp/10.md)
+	+   [11 语言学数据管理](docs/nlp/11.md)
+	+   [后记：语言的挑战](docs/nlp/12.md)
+	+   [索引](docs/nlp/14.md)
 +   TensorFlow 2.0 - 教程
     + [安装指南](docs/TensorFlow2.x/安装指南.md)
     + [Kears 快速入门](docs/TensorFlow2.x/Keras快速入门.md)

docs/nlp/0.md

+# 前言
+
+这是一本关于自然语言处理的书。所谓“自然语言”，是指人们日常交流使用的语言，如英语，印地语，葡萄牙语等。相对于编程语言和数学符号这样的人工语言，自然语言随着一代人传给另一代人而不断演化，因而很难用明确的规则来刻画。从广义上讲，“自然语言处理”（Natural Language Processing 简称 NLP）包含所有用计算机对自然语言进行的操作。举个极端的例子，它可以是简单的通过计数词出现的频率来比较不同的写作风格。另外一个极端的例子，NLP 包括完全“理解”人所说的话，至少要能达到对人的话语作出有效反应的程度。
+
+基于 NLP 的技术应用日益广泛。例如：手机和手持电脑支持输入法联想提示和手写识别；网络搜索引擎能搜到非结构化文本中的信息；机器翻译能把中文文本翻译成西班牙文；文本分析让我们能够检测推文和博客中的情感。通过提供更自然的人机界面和更复杂的存储信息获取手段，语言处理正在这个多语种的信息社会中扮演更核心的角色。
+
+这本书提供自然语言处理领域非常方便的入门指南。它可以用来自学，也可以作为自然语言处理或计算语言学课程的教科书，或是人工智能、文本挖掘、语料库语言学课程的补充读物。本书的实践性很强，包括几百个实际可用的例子和分级练习。
+
+本书基于 Python 编程语言及其上的一个名为*自然语言工具包*（Natural Language Toolkit ，简称 NLTK）的开源库。NLTK 包含大量的软件、数据和文档，所有这些都可以从`http://nltk.org/`免费下载。NLTK 的发行版本支持 Windows、Macintosh 和 Unix 平台。我们强烈建议你下载 Python 和 NLTk，与我们一起尝试书中的例子和练习。
+
+## 读者
+
+NLP 是科学、经济、社会和文化的一个重要因素。NLP 正在迅速成长，它的很多理论和方法在大量新的语言技术中得到应用。所以对很多行业的人来说掌握 NLP 知识十分重要。在应用领域包括从事人机交互、商业信息分析、web 软件开发的人。在学术界包括从人文计算学、语料库语言学到计算机科学和人工智能领域的人。（学术界的很多人把 NLP 叫称为“计算语言学”。）
+
+本书旨在帮助所有想要学习如何编写程序分析书面语言的人，不管他们以前的编程经验如何：
+
+```py
+>>> for line in open("file.txt"):
+...     for word in line.split():
+...         if word.endswith('ing'):
+...             print(word)
+```
+
+这段程序演示了 Python 的一些主要特征。首先，使用空格*缩进*代码，从而使`if`后面的代码都在前面一行`for`语句的范围之内；这保证了检查单词是否以`ing`结尾的测试对所有单词都进行。第二，Python 是*面向对象*语言；每一个变量都是包含特定属性和方法的对象。例如，变量`line`的值不仅仅是一个字符串序列。它是一个`string`对象，包含一个用来把字符串分割成词的`split()`方法（或叫操作）。我们在对象名称后面写上一个点再写上方法名称就可以调用对象的一个方法，例如`line.split()`。第三，方法的*参数*写在括号内。例如，上面的例子中的`word.endswith('ing')`具有一个参数`'ing'`表示我们需要找的是`ing`结尾的词而不是别的结尾的词。最后也是最重要的，Python 的可读性如此之强以至于可以相当容易的猜出程序的功能，即使你以前从未写过一行代码。
+
+我们选择 Python 是因为它的学习曲线比较平缓，文法和语义都很清晰，具有良好的处理字符串的功能。作为解释性语言，Python 便于交互式编程。作为面向对象语言，Python 允许数据和方法被方便的封装和重用。作为动态语言，Python 允许属性等到程序运行时才被添加到对象，允许变量自动类型转换，提高开发效率。Python 自带强大的标准库，包括图形编程、数值处理和网络连接等组件。
+
+Python 在世界各地的工业、科研、教育领域应用广泛。它因为提高了软件的生产效率、质量和可维护性而备受称赞。`http://python.org/about/success/`中列举了许多成功使用 Python 的故事。
+
+NLTK 定义了一个使用 Python 进行 NLP 编程的基础工具。它提供重新表示自然语言处理相关数据的基本类，词性标注、文法分析、文本分类等任务的标准接口以及这些任务的标准实现，可以组合起来解决复杂的问题。
+
+NLTK 自带大量文档。作为本书的补充，`http://nltk.org/`网站提供的 API 文档涵盖工具包中每一个模块、类和函数，详细说明了各种参数，还给出了用法示例。
+
+## Python 3 和 NLTK 3
+
+本书的这个版本已更新并支持 Python 3 和 NLTK 3。Python 3 包括一些重大的变化：
+
+*   `print`语句现在是函数，因此需要括号；
+*   许多函数现在返回迭代器而不是列表 （以节省内存使用）;
+*   整数除法返回一个浮点数
+*   所有文本现在都是 Unicode 编码
+*   字符串的格式化使用`format`方法
+
+这些变化的更多细节请参见`https://docs.python.org/dev/whatsnew/3.0.html`.。有一个`2to3.py`工具可以将 Python 2 代码转换为 Python 3；关详细信息请参阅`https://docs.python.org/2/library/2to3.html`。
+
+NLTK 同样很多地方都有更改：
+
+*   许多类型使用`fromstring()`方法从字符串初始化
+*   许多函数现在返回迭代器而不是列表
+*   `ContextFreeGrammar`现在叫做`CFG`，`WeightedGrammar`现在叫做`PCFG`
+*   `batch_tokenize()`现在叫做`tokenize_sents()`；对应的标记器, 解析器和分类器都有变化
+*   有些实现已删除以支持外部包，或因为不能充分维护
+
+更详细的变更列表请参见`https://github.com/nltk/nltk/wiki/Porting-your-code-to-NLTK-3.0`。
+
+## 软件安装需求
+
+为了充分利用好本书，你应该安装一些免费的软件包。`http://nltk.org/`上有这些软件包当前的下载链接和安装说明。
+
+| Python: | 本书中例子假定你正在使用 Python 3.2 或更高版本。（注，NLTK 3.0 也适用于 Python 2.6 和 2.7）。 |
+| --- | --- |
+| NLTK: | 这本书中的代码示例使用 NLTK 3.0 版。NLTK 的后续版本将会向后兼容 NLTK 3.0。 |
+| NLTK-Data: | 包含本书中分析和处理的语言语料库。 |
+| NumPy: | （推荐）这是一个科学计算库，支持多维数组和线性代数，在某些计算概率、标记、聚类和分类任务中用到。 |
+| Matplotlib: | （推荐）这是一个用于数据可视化的 2D 绘图库，本书在产生线图和条形图的程序例子中用到。 |
+| 斯坦福大学 NLP 工具： | （推荐）NLTK 包括斯坦福大学 NLP 工具的接口，可用于大型语言处理（见`http://nlp.stanford.edu/software/`）。 |
+| NetworkX: | （可选）这是一个用于存储和操作由节点和边组成的网络结构的函数库。可视化语义网络还需要安装 *Graphviz* 库。 |
+| Prover9: | （可选）这是一个使用一阶等式逻辑定理的自动证明器，用于支持语言处理中的推理。 |
+
+## 自然语言工具包（NLTK）
+
+NLTK 创建于 2001 年，最初是宾州大学计算机与信息科学系计算语言学课程的一部分。从那以后，在数十名贡献者的帮助下不断发展壮大。如今，它已被几十所大学的课程所采纳，并作为许多研究项目的基础。[VIII.1](http://www.nltk.org/book/ch00.html#tab-modules) 列出了 NLTK 的一些最重要的模块。
+
+表 VIII.1：
+
+语言处理任务与相应 NLTK 模块以及功能描述
+
+| 语言处理任务 | NLTK 模块 | 功能 |
+| --- | --- | --- |
+| 访问语料库 | `corpus` | 语料库与词典的标准化接口 |
+| 字符串处理 | `tokenize, stem` | 分词，分句，提取主干 |
+| 搭配的发现 | `collocations` | t-检验，卡方，点互信息 PMI |
+| 词性标注 | `tag` | N 元组, backoff, Brill, HMM, TnT |
+| 机器学习 | `classify, cluster, tbl` | 决策树，最大熵，贝叶斯，EM，k-means |
+| 分块 | `chunk` | 正则表达式，N 元组，命名实体 |
+| 解析 | `parse, ccg` | 图表，基于特征，一致性，概率，依赖 |
+| 语义解释 | `sem, inference` | λ演算，一阶逻辑，模型检验 |
+| 指标评测 | `metrics` | 精度，召回率，协议系数 |
+| 概率和估计 | `probability` | 频率分布，平滑概率分布 |
+| 应用 | `app, chat` | 图形化的语料库检索工具，分析器，WordNet 查看器，聊天机器人 |
+| 语言学领域的工作 | `toolbox` | 处理 SIL 工具箱格式的数据 |
+
+NLTK 设计中的四个主要目标：
+
+| 简单： | 提供一个直观的框架和大量构建模块，使用户获取 NLP 知识而不必陷入像标注语言数据那样繁琐的事务中 |
+| --- | --- |
+| 一致： | 提供一个具有一致的接口和数据结构的，并且方法名称容易被猜到的统一的框架 |
+| 可扩展： | 提供一种结构，新的软件模块包括同一个任务中的不同的实现和相互冲突的方法都可以方便添加进来 |
+| 模块化： | 提供的组件可以独立使用而无需理解工具包的其他部分 |
+
+对比上述目标，我们有意回避了工具包三个非需求行的但可能有用的特征。首先，虽然工具包提供了广泛的工具，但它不是面面俱全的；它是一个工具包而不是一个系统，它将会随着 NLP 领域一起演化。第二，虽然这个工具包的效率足以支持实际的任务，但它运行时的性能还没有高度优化；这种优化往往涉及更复杂的算法或使用 C 或 C++ 等较低一级的编程语言来实现。这将影响工具包的可读性且更难以安装。第三，我们试图避开巧妙的编程技巧，因为我们相信清楚直白的实现比巧妙却可读性差的方法好。
+
+## 教师请看
+
+自然语言处理一般是在高年级本科生或研究生层次开设的为期一个学期的课程。很多教师都发现，在如此短的时间里涵盖理论和实践两个方面是十分困难的。有些课程注重理论而排挤实践练习，剥夺了学生编写程序自动处理语言带来的挑战和兴奋感。另一些课程仅仅教授语言学编程而不包含任何重要的 NLP 内容。最初开发 NLTK 就是为了解决这个问题，使在一个学期里同时教授大量理论和实践成为可能，无论学生事先有没有编程经验。
+
+算法和数据结构在所有 NLP 教学大纲中都十分重要。它们本身可能非常枯燥，而 NLTK 提供的交互式图形用户界面能一步一步看到算法过程，使它们变得鲜活。大多数 NLTK 组件都有一个无需用户输入任何数据就能执行有趣的任务的示范性例子。学习本书的一个有效的方法就是交互式重现书中的例子，把它们输入到 Python 会话控制台，观察它们做了些什么，修改它们去探索试验或理论问题。
+
+本书包含了数百个练习，可作为学生作业的基础。最简单的练习涉及用指定的方式修改已有的程序片段来回答一个具体的问题。另一个极端，NLTK 为研究生水平的研究项目提供了一个灵活的框架，包括所有的基本数据结构和算法的标准实现，几十个广泛使用的数据集（语料库）的接口，以及一个灵活可扩展的体系结构。NLTK 网站上还有其他资源支持教学中使用 NLTK。
+
+我们相信本书是唯一为学生提供在学习编程的环境中学习 NLP 的综合性框架。各个章节和练习通过 NLTK 紧密耦合，并将各章材料分割开，为学生（即使是那些以前没有编程经验的学生）提供一个实用的 NLP 的入门指南。学完这些材料后，学生将准备好尝试一本更加深层次的教科书，例如《语音和语言处理》，作者是 Jurafsky 和 Martin（Prentice Hall 出版社，2008 年）。
+
+本书介绍编程概念的顺序与众不同，以一个重要的数据类型字符串列表开始，然后介绍重要的控制结构如推导和条件式等。这些概念允许我们在一开始就做一些有用的语言处理。有了这样做的冲动，我们回过头来系统的介绍一些基础概念，如字符串，循环，文件等。这样的方法同更传统的方法达到了同样的效果而不必要求读者自己已经对编程感兴趣。
+
+[IX.1](http://www.nltk.org/book/ch00.html#tab-course-plans) 列出了两个课程计划表。第一个适用于文科，第二个适用于理工科。其他的课程计划应该涵盖前 5 章，然后把剩余的时间投入单独的领域，例如：文本分类（第 6、7 章）、文法（第 8、9 章）、语义（第 10 章）或者语言数据管理（第 11 章）。
+
+表 IX.1：
+
+课程计划建议；每一章近似的课时数
+
+| 章节 | 文科 | 理工科 |
+| --- | --- | --- |
+| 第 1 章 语言处理与 Python | 2-4 | 2 |
+| 第 2 章 获得文本语料和词汇资源 | 2-4 | 2 |
+| 第 3 章 处理原始文本 | 2-4 | 2 |
+| 第 4 章 编写结构化程序 | 2-4 | 1-2 |
+| 第 5 章 分类和标注单词 | 2-4 | 2-4 |
+| 第 6 章 学习本文分类 | 0-2 | 2-4 |
+| 第 7 章 从文本提取信息 | 2 | 2-4 |
+| 第 8 章 分析句子结构 | 2-4 | 2-4 |
+| 第 9 章 构建基于特征的文法 | 2-4 | 1-4 |
+| 第 10 章 分析句子的含义 | 1-2 | 1-4 |
+| 第 11 章 语言学数据管理 | 1-2 | 1-4 |
+| 总计 | 18-36 | 18-36 |
+
+## 本书使用的约定
+
+本书使用以下印刷约定：
+
+**粗体** -- 表示新的术语。
+
+*斜体* -- 用在段落中表示语言学例子、文本的名称和 URL，文件名和后缀名也用斜体。
+
+`等宽字体` -- 用来表示程序清单，用在段落中表示变量、函数名、语句或关键字等程序元素；也用来表示程序名。
+
+`等宽粗体` -- 表示应该由用户输入的命令或其他文本。
+
+`等宽斜体` -- 表示应由用户提供的值或上下文决定的值来代替文本中的值；也在程序代码例子中表示元变量。
+
+注
+
+此图标表示提示、建议或一般性注意事项。
+
+警告！
+
+此图标表示警告或重要提醒。
+
+## 使用例子代码
+
+本书是为了帮你完成你的工作的。。一般情况下，你都可以在你的程序或文档中使用本书中的代码。不需要得到我们获得允许，除非你要大量的复制代码。例如，编写的程序用到书中几段代码不需要许可。销售和分发 O'Reilly 书籍中包含的例子的 CD-ROM 需要获得许可。援引本书和书中的例子来回答问题不需要许可。大量的将本书中的例子纳入你的产品文档将需要获得许可。
+
+我们希望但不是一定要求被参考文献引用。一个引用通常包括标题，作者，出版者和 ISBN。例如：Python 自然语言处理，Steven Bird，Ewan Klein 和 Edward Loper。O'Reilly Media, 978-0-596-51649-9\. 如果你觉得你使用本书的例子代码超出了上面列举的一般用途或许可，随时通过 *permissions@oreilly.com* 联系我们。
+
+## 致谢
+
+作者感激为本书早期手稿提供反馈意见的人，他们是：Doug Arnold, Michaela Atterer, Greg Aumann, Kenneth Beesley, Steven Bethard, Ondrej Bojar, Chris Cieri, Robin Cooper, Grev Corbett, James Curran, Dan Garrette, Jean Mark Gawron, Doug Hellmann, Nitin Indurkhya, Mark Liberman, Peter Ljunglöf, Stefan Müller, Robin Munn, Joel Nothman, Adam Przepiorkowski, Brandon Rhodes, Stuart Robinson, Jussi Salmela, Kyle Schlansker, Rob Speer 和 Richard Sproat。感谢许许多多的学生和同事，他们关于课堂材料的意见演化成本书的这些章节，其中包括巴西，印度和美国的 NLP 与语言学暑期学校的参加者。没有`nltk-dev`开发社区的成员们的努力这本书也不会存在，他们为建设和壮大 NLTK 无私奉献他们的时间和专业知识，他们的名字都记录在 NLTK 网站上。
+
+非常感谢美国国家科学基金会、语言数据联盟、Edward Clarence Dyason 奖学金、宾州大学、爱丁堡大学和墨尔本大学对我们在本书相关的工作上的支持。
+
+感谢 Julie Steele、Abby Fox、Loranah Dimant 以及其他 O'Reilly 团队成员，他们组织大量 NLP 和 Python 社区成员全面审阅我们的手稿，很高兴的为满足我们的需要定制 O'Reilly 的生成工具。感谢他们一丝不苟的审稿工作。
+
+在准备 Python 3 修订版的过程中，感谢 Michael Korobov 领导将 NLTK 移植到 Python 3，以及 Antoine Trux 对第一版细致的反馈意见。
+
+最后，我们对我们的合作伙伴欠了巨额的感情债，他们是 Mimo 和 Jee。我们希望我们的孩子 —— Andrew, Alison、Kirsten、Leonie 和 Maaike —— 能从这些页面中感受到我们对语言和计算的热情。
+
+## 关于作者
+
+**Steven Bird** 是在墨尔本大学计算机科学与软件工程系副教授和美国宾夕法尼亚大学的语言数据联盟的高级研究助理。他于 1990 年在爱丁堡大学完成计算音韵学博士学位，由 Ewan Klein 指导。后来到喀麦隆开展夏季语言学研究所主持下的 Grassfields 班图语语言实地调查。最近，他作为语言数据联盟副主任花了几年时间领导研发队伍，创建已标注文本的大型数据库的模型和工具。在墨尔本大学，他建立了一个语言技术研究组，并在各级本科计算机科学课程任教。2009 年，史蒂芬成为计算语言学学会主席。
+
+**Ewan Klein**是英国爱丁堡大学信息学院语言技术教授。于 1978 年在剑桥大学完成形式语义学博士学位。在苏塞克斯和纽卡斯尔大学工作多年后，参加了在爱丁堡的教学岗位。他于 1993 年参与了爱丁堡语言科技集团的建立，并一直与之密切联系。从 2000 到 2002，他离开大学作为圣克拉拉的埃迪法公司的总部在爱丁堡的自然语言的研究小组的研发经理，负责处理口语对话。Ewan 是计算语言学协会欧洲分会（European Chapter of the Association for Computational Linguistics）前任主席，并且是人类语言技术（ELSNET）欧洲卓越网络的创始成员和协调员。
+
+**Edward Loper** 最近完成了宾夕法尼亚大学自然语言处理的机器学习博士学位。Edward 是 Steven 在 2000 年秋季计算语言学研究生课程的学生，也是教师助手和 NLTK 开发的成员。除了 NLTK，他帮助开发了用于文档化和测试 Python 软件的两个包：`epydoc`和`doctest`。
+
+## 版税
+
+出售这本书的版税将被用来支持自然语言工具包的发展。
+
+![Images/authors.png](Images/d87676460c87d0516fb382b929c07302.jpg)
+
+图 XIV.1：Edward Loper, Ewan Klein 和 Steven Bird, 斯坦福大学, 2007 年 7 月 
+
+## 关于本文档...
+
+针对 NLTK 3.0 进行更新。本章来自于《Python 自然语言处理》，[Steven Bird](http://estive.net/), [Ewan Klein](http://homepages.inf.ed.ac.uk/ewan/) 和 [Edward Loper](http://ed.loper.org/)，Copyright © 2014 作者所有。本章依据 [*Creative Commons Attribution-Noncommercial-No Derivative Works 3\.0 United States License*](http://creativecommons.org/licenses/by-nc-nd/3.0/us/) 条款，与[*自然语言工具包*](http://nltk.org/) 3.0 版一起发行。
+
+本文档构建于 2015 年 7 月 1 日 星期三 12:30:05 AEST
\ No newline at end of file

docs/nlp/1.入门介绍.md

-# 自然语言处理 - 1.入门介绍
-
-* 语言是知识和思维的载体
-* 自然语言处理 (Natural Language Processing, NLP) 是计算机科学，人工智能，语言学关注计算机和人类(自然)语言之间的相互作用的领域。
-
-## NLP相关的技术
-
-| 中文 | 英文 | 描述 |
-| --- | --- | --- |
-| 分词 | Word Segmentation | 将连续的自然语言文本，切分成具有语义合理性和完整性的词汇序列 |
-| 命名实体识别 | Named Entity Recognition | 识别自然语言文本中具有特定意义的实体(人、地、机构、时间、作品等) |
-| 词性标注 | Part-Speech Tagging | 为自然语言文本中的每个词汇赋予一个词性(名词、动词、形容词等) |
-| 依存句法分析 | Dependency Parsing | 自动分析句子中的句法成分(主语、谓语、宾语、定语、状语和补语等成分) |
-| 词向量与语义相似度 | Word Embedding & Semantic Similarity | 依托全网海量数据和深度神经网络技术，实现了对词汇的向量化表示，并据此实现了词汇的语义相似度计算 |
-| 文本语义相似度 | Text Semantic Similarity | 依托全网海量数据和深度神经网络技术，实现文本间的语义相似度计算的能力 |
-| 篇章分析 | Document Analysis | 分析篇章级文本的内在结构，进而分析文本情感倾向，提取评论性观点，并生成反映文本关键信息的标签与摘要 |
-| 机器翻译技术 | Machine Translating | 基于互联网大数据，融合深度神经网络、统计、规则多种翻译方法，帮助用户跨越语言鸿沟，与世界自由沟通 |
-
-## 场景案例
-
-### 案例1(解决交叉歧义)
-
-**分词(Word Segmentation)** : 将连续的自然语言文本，切分成具有语义合理性和完整性的词汇序列
-
-例句: 致毕业和尚未毕业的同学。
-
-1. `致` `毕业` `和` `尚未` `毕业` `的` `同学`
-2. `致` `毕业` `和尚` `未` `毕业` `的` `同学`
-
-其他案例: 
-
-1. 校友 和 老师 给 尚未 毕业 同学 的 一 封 信
-2. 本科 未 毕业 可以 当 和尚 吗
-
-### 案例2(从粒度整合未登录体词)
-
-**命名实体识别(Named Entity Recognition)**: 识别自然语言文本中具有特定意义的实体(人、地、机构、时间、作品等)
-
-例句: 天使爱美丽在线观看
-
-* 分词: `天使` `爱` `美丽` `在线` `观看`
-* 实体:  天使爱美丽 -> 电影
-
-其他案例: 
-
-1. 网页: 天使爱美丽 土豆 高清视频
-2. 网页: 在线直播 爱 美丽 的 天使
-
-### 案例3(结构歧义问题)
-
-* **词性标注(Part-Speech Tagging)**:  为自然语言文本中的每个词汇赋予一个词性(名词、动词、形容词等)
-* **依存句法分析(Dependency Parsing)**: 自动分析句子中的句法成分(主语、谓语、宾语、定语、状语和补语等成分)
-
-评论: 房间里还可以欣赏日出
-
-* 房间里: 主语
-* 还可以: 情态动词
-* 欣赏: 动词
-* 日出: 宾语
-
-歧义:
-
-1. 房间还可以
-2. 可以欣赏日出
-
-### 案例4(词汇语言相似度)
-
-**词向量与语义相似度(Word Embedding & Semantic Similarity)**: 对词汇进行向量化表示，并据此实现词汇的语义相似度计算。
-
-例如: 西瓜 与 (呆瓜/草莓)，哪个更接近？
-
-* 向量化表示: 西瓜(0.1222, 0.22333, .. )
-* 相似度计算: 呆瓜(0.115)           草莓(0.325)
-* 向量化表示: (-0.333, 0.1223 .. )  (0.333， 0.3333, .. )
-
-### 案例5(文本语义相似度)
-
-**文本语义相似度(Text Semantic Similarity)**: 依托全网海量数据和深度神经网络技术，实现文本间的语义相似度计算的能力
-
-例如: 车头如何防止车牌 与 (前牌照怎么装/如何办理北京牌照)，哪个更接近？
-
-* 向量化表示: 车头如何防止车牌(0.1222, 0.22333, .. )
-* 相似度计算: 前牌照怎么装(0.762)     如何办理北京牌照(0.486)
-* 向量化表示: (-0.333, 0.1223 .. )   (0.333， 0.3333, .. )
-
-### 案例6(篇章分析)
-
-**篇章分析(Document Analysis)**: 分析篇章级文本的内在结构，进而分析文本情感倾向，提取评论性观点，并生成反映文本关键信息的标签与摘要
-
-例如: 
-
-![](img/1.自然语言处理入门介绍/篇章分析.jpg)
-
-### 案例7(机器翻译)
-
-**机器翻译技术(Machine Translating)**: 基于互联网大数据，融合深度神经网络、统计、规则多种翻译方法，帮助用户跨越语言鸿沟，与世界自由沟通
-
-![](img/1.自然语言处理入门介绍/机器翻译.png)
-
----
-
-* 参考百度科普课程: <http://bit.baidu.com/product>

docs/nlp/12.md

+# 后记：语言的挑战
+
+自然语言抛出一些有趣的计算性挑战。我们已经在前面的章节探讨过许多这样的挑战，包括分词、标注、分类、信息提取和建立句法和语义表示。你现在应该已经准备好操作大型数据集，来创建语言现象的强健模型，并将它们扩展到实际语言技术的组件中。我们希望自然语言工具包（NLTK）对于开放令人振奋的实用自然语言处理的的努力到比以前更广泛的受众已经起作用。
+
+尽管已经取得前面的所有成果，语言呈现给我们的远远不是计算上的临时挑战。考虑下面的句子，它们证实语言的丰富性：
+
+```
+(1)
+
+a.    Overhead the day drives level and grey, hiding the sun by a flight of grey spears. (William Faulkner, *As I Lay Dying*, 1935) 
+
+b.    When using the toaster please ensure that the exhaust fan is turned on. (sign in dormitory kitchen) 
+
+c.    Amiodarone weakly inhibited CYP2C9, CYP2D6, and CYP3A4-mediated activities with Ki values of 45.1-271.6 μM (Medline, PMID: 10718780) 
+
+d.    Iraqi Head Seeks Arms (spoof news headline) 
+
+e.    The earnest prayer of a righteous man has great power and wonderful results. (James 5:16b) 
+
+f.    Twas brillig, and the slithy toves did gyre and gimble in the wabe (Lewis Carroll, *Jabberwocky*, 1872) 
+
+g.    There are two ways to do this, AFAIK :smile: (internet discussion archive) 
+```
+
+语言丰富性的其他证据是以语言为工作中心的学科的浩瀚阵容。一些明显的学科包括翻译、文学批评、哲学、人类学和心理学。许多不太明显的学科研究语言的使用，包括法律、诠释学、辩论术、电话学、教育学、考古学、密码分析学及言语病理学。它们分别应用不同的方法来收集观察资料、发展理论和测试假设。它们都有助于加深我们对语言和表现在语言中的智能的理解。
+
+鉴于语言的复杂性和从不同的角度研究它的广泛的价值，很显然这里我们仅仅已经触及了表面。此外，在 NLP 本身，有许多我们没有提到的重要方法和应用。
+
+在我们的后记中，我们将以更宽广的视角看待 NLP，包括它的基础和你可能想要探索的进一步的方向。一些主题还没有得到 NLTK 很好的支持，你可能想通过为工具包贡献新的软件和数据来修正这些问题，。
+
+## 语言处理与符号处理
+
+以计算方式处理自然语言的真正观念脱胎于一个研究项目，可以追溯到 1900 年代早期，使用逻辑重建数学推理，最清楚地表明是在 Frege、Russell、Wittgenstein、Tarski、Lambek 和 Carnap 的工作中。这项工作导致语言作为可以自动处理的形式化系统的概念。三个后来的发展奠定了自然语言处理的基础。第一个是形式语言理论。它定义一个语言为被一类自动机接受的字符串的集合，如上下文无关语言和下推自动机，并提供计算句法的支柱。
+
+第二个发展是符号逻辑。它提供一个捕捉选定的自然语言的表达的逻辑证明的有关方面的形式化方法。符号逻辑中的形式化演算提供一种语言的句法和推理规则，并可能在一套理论模型中对规则进行解释；例子是命题逻辑和一阶逻辑。给定这样的演算和一个明确的句法和语义，通过将自然语言的表达翻译成形式化演算的表达式，联系语义与自然语言的表达成为可能。例如，如果我们翻译`John saw Mary`为公式`saw(j,m)`，我们（或明或暗地）将英语动词`saw`解释为一个二元关系，而`John`和`Mary`表示个体元素。更多的一般性的表达式如`All birds fly`需要量词，在这个例子中是`∀`，意思是对所有的：`∀x (bird(x) → fly(x))`。逻辑的使用提供了技术性的机制处理推理，而推理是语言理解的重要组成部分。
+
+另一个密切相关的发展是组合原理，即一个复杂表达式的意思由它的各个部分的意思和它们的组合模式组成`(10)`。这一原理提供了句法和语义之间的有用的对应，即一个复杂的表达式的含义可以递归的计算。考虑句子`It is not true that p`，其中`p`是一个命题。我们可以表示这个句子的意思为`not(p)`。同样，我们可以表示`John saw Mary`的意思为`saw(j, m)`。现在，我们可以使用上述信息递归地计算`It is not true that John saw Mary`的表示，得到`not(saw(j,m))`。
+
+刚刚简要介绍的方法都有一个前提，自然语言计算关键依赖于操纵符号表示的规则。NLP 发展的一个特定时期，特别是 1980 年代，这个前提为语言学家和 NLP 从业人员提供了一个共同的起点，导致一种被称为基于归一（基于特征）语法的形式化语法家族（参见 9），也导致了在 Prolog 编程语言上实现 NLP 应用。虽然基于语法的自然语言处理仍然是一个研究的重要领域，由于多种因素在过去的 15-20 年它已经有些黯然失色。一个显著的影响因素来自于自动语音识别。虽然早期的语音处理采用一个模拟一类基于规则的音韵处理的模型，典型的如《Sound Pattern of English》（Chomsky & Halle, 1968），结果远远不能够解决实时的识别实际的讲话这样困难的问题。相比之下，包含从大量语音数据中学习的模式的系统明显更准确、高效和稳健的。此外，言语社区发现建立对常见的测试数据的性能的定量测量的共享资源对建立更好的系统的过程有巨大帮助。最终，大部分的 NLP 社区拥抱面向数据密集型的语言处理，配合机器学习技术和评价为主导的方法的越来越多地使用。
+
+## 当代哲学划分
+
+在上一节中描述的自然语言处理的两种方法的对比与在西方哲学的启蒙时期出现的关于理性主义与经验主义和现实主义与理想主义的早期形而上学的辩论有关。这些辩论出现在反对一切知识的来源被认为是神的启示的地方的正统思想的背景下。在十七和十八世纪期间，哲学家认为人类理性或感官经验优先了启示。笛卡尔和莱布尼兹以及其他人采取了理性的立场，声称所有的真理来源于人类思想，从出生起在我们的脑海中就植入的“天赋观念”的存在。例如，他们认为欧几里德几何原理是使用人的理性制定的，而不是超自然的启示或感官体验的结果。相比之下，洛克和其他人采取了经验主义的观点，认为我们的知识的主要来源是我们的感官经验，人类理性在翻译这些经验上起次要作用。这一立场经常引用的证据是伽利略的发现——基于对行星运动的仔细观察——太阳系是以太阳为中心，而不是地球为中心。在语言学的背景下，本次辩论导致以下问题：人类语言经验与我们先天的“语言能力”各自多大程度上作为我们的语言知识的基础？在 NLP 中这个问题表现为在计算模型构建中语料库数据与语言学反省之间的优先级。
+
+还有一个问题，在现实主义和理想主义之间的辩论中被奉若神明的是理论结构的形而上学的地位。康德主张现象与我们可以体验的表现以及不能直接被认识的“事情本身”之间的相互区别。语言现实主义者会认为如名词短语这样的理论建构是一个现实世界的实体，是人类看法和理由的独立存在，它实际*导致*观测到的语言现象。另一方面，语言理想主义者会说名词短语以及如语义表示这样更抽象的结构本质上无法观察到，只是担任有用的虚构的角色。语言学家写理论的方式往往与现实主义的立场相违背，而 NLP 从业人员占据中立地位，不然就倾向于理想主义立场。因此，在 NLP 中，如果一个理论的抽象导致一个有用的结果往往就足够了；不管这个结果是否揭示了任何人类语言处理。
+
+这些问题今天仍然存在，表现为符号与统计方法、深层与浅层处理、二元与梯度分类以及科学与工程目标之间的区别。然而，这样的反差现在已经非常细微，辩论不再像从前那样是两极化。事实上，大多数的讨论——大部分的进展——都包含一个“平衡协调”。例如，一种中间立场是假设人类天生被赋予基于类比和记忆的学习方法（弱理性主义），并使用这些方法确定他们的感官语言经验（经验主义）的有意义的模式。
+
+整本书中，我们已经看到了这种方法的很多例子。每次语料统计指导上下文无关语法产生式的选择，统计方法就会给出符号模型，即“语法工程”。每次使用基于规则的方法创建的一个语料被用来作为特征来源训练统计语言模型时，符号方法都会给出统计模型，即“语法推理”。圆圈是封闭的。
+
+## NLTK 路线图
+
+自然语言工具包是在不断发展的，随着人们贡献代码而不断扩大。NLP 和语言学的一些领域（还）没有得到 NLTK 很好的支持，特别欢迎在这些领域的贡献。有关这本书的出版之后的开发新闻，请查阅`http://nltk.org/`。
+
+| 音韵学和形态学： | 研究声音模式和文字结构的计算方法，通常用一个有限状态机工具包。如不规则词形变化和非拼接形态这样的现象使用我们一直在学习的字符串处理方法很难解决。该技术面临的挑战不仅仅是连接 NLTK 到一个高性能的有限状态机工具包，而且要避免词典数据的重复以及链接形态分析器和语法分析器所需形态学特征。 |
+| --- | --- |
+| 高性能模块： | 一些 NLP 任务的计算量太大，使纯 Python 实现不可行。然而，在某些情况下，耗时只出现在训练模型期间，不是在标注输入期间使用它们。NLTK 中的包系统提供了一个方便的方式来发布训练好的模型，即使那些使用不能随意发布的语料库训练的模型。替代方法是开发高性能的机器学习工具的 Python 接口，或通过使用类似与 MapReduce 的并行编程技术扩展 Python 的能力。 |
+| 词汇语义学： | 这是一个充满活力的领域，目前的研究大多围绕词典、本体、多词表达式等的继承模型，大都在现在的 NLTK 的范围之外。一个保守的目标是从丰富的外部存储获得词汇信息，以支持词义消歧、解析和语义解释等任务。 |
+| 自然语言生成： | 从含义的内在表示生产连贯的文本是 NLP 的重要组成部分；用于 NLP 的基于归一的方法已经在 NLTK 中开发，在这一领域做出更大的贡献还有限制。 |
+| 语言实地调查： | 语言学家面临的一个重大挑战是记录数以千计的濒危语言，这项工作产生大量异构且快速变化的数据。更多的实地调查的数据格式，包括行间的文本格式和词汇交换格式，在 NLTK 中得到支持，帮助语言学家维护和分析这些数据，解放他们，使他们能在数据提炼中花费尽可能多的时间。 |
+| 其他语言： | 对英语以外的语言的 NLP 改进支持包括两方面的工作：获准发布更多 NLTK 中的收集的语料库；写特定语言的 HOWTO 文件发布到`http://nltk.org/howto`，说明 NLTK 中的使用，讨论语言相关的 NLP 问题，包括字符编码、分词、形态。一个特定语言专长的 NLP 研究人员可以安排翻译这本书，并在 NLTK 的网站上保存一个副本；这将不仅仅是翻译讨论的内容，而要使用目标语言的数据提供等效的可行的例子，一项不平凡的事业。 |
+| NLTK-Contrib: | 许多 NLTK 中的核心组件都由 NLP 社区成员贡献，它们最初被安置在 NLTK 中的“Contrib”包，`nltk_contrib`。对添加到这个包中的软件的唯一要求是它必须用 Python 编写，与 NLP 有关，并给予与 NLTK 中其他软件一样的开源许可。不完善的软件也是值得欢迎的，随着时间的推移可能会被 NLP 社区的其他成员改进。 |
+| 教材： | 从 NLTK 开发的最初起，教材一直伴随着软件逐渐扩大填补这本书，也加上大量的网上材料。我们希望弄清楚提供这些材料包括：幻灯片、习题集、解答集、我们所覆盖的主题更详细的理解的教员的名字，并通知作者，我们可以为他们在`http://nltk.org/`上做链接。具有特殊价值的材料，帮助 NLP 成为计算机科学和语言学系的本科主流课程，或者使 NLP 在二级本科课程中可以获得，在那里对语言、文学、计算机科学以及信息技术课程中的计算内容有明显的限制。 |
+| 只是一个工具包： | 在序言中已经指出，NLTK 是一个工具包，而不是一个系统。在 NLTK、Python、其他 Python 库、外部 NLP 的工具和格式的接口集成中会有很多问题需要解决。 |
+
+## Envoi...
+
+语言学家有时会被问到他们说多少种语言，不得不解释说这一领域实际上关注语言间共享的抽象结构的研究，一种比学说尽可能多的语言更深刻更难以捉摸的研究。同样的，计算机科学家有时会被问到他们懂多少种编程语言，不得不解释说计算机科学实际上关注能在任何编程语言中实施的数据结构和算法的研究，一种比争取学习尽可能多的编程语言更深刻更难以捉摸。
+
+这本书涵盖了自然语言处理领域的许多主题。大多数的例子都使用 Python 和英语。不过，如果读者得出的结论是 NLP 是有关如何编写 Python 程序操纵英文文本，或者更广泛的，关于如何编写程序（以任何一种编程语言）处理（任何一种自然语言）文本的，这将是不幸的。我们选择 Python 和英语是权宜之计，仅此而已。即使我们关注编程本身也只是一种解决问题的手段：作为一种了解表示和操纵语言标注文本的集合的数据结构和算法的方式，作为一种方法来建立新的语言技术，更好地服务于信息社会的需求，并最终作为对人类语言极度丰富性的更深的理解的方法。
+
+*但是目前为止，快乐编程吧！*
+
+## 关于本文档...
+
+针对 NLTK 3.0 作出更新。本章来自于《Python 自然语言处理》，[Steven Bird](http://estive.net/), [Ewan Klein](http://homepages.inf.ed.ac.uk/ewan/) 和 [Edward Loper](http://ed.loper.org/)，Copyright © 2014 作者所有。本章依据 [*Creative Commons Attribution-Noncommercial-No Derivative Works 3\.0 United States License*](http://creativecommons.org/licenses/by-nc-nd/3.0/us/) 条款，与[*自然语言工具包*](http://nltk.org/) 3.0 版一起发行。
+
+本文档构建于星期三 2015 年 7 月 1 日 12:30:05 AEST
\ No newline at end of file

docs/nlp/3.1.篇章分析-内容概述.md

-# 篇章分析-内容概述
-
-## 篇章分析变迁
-
-1. 内容生态:  新浪 -> 百家号、今日头条（自媒体）
-2. 用户成为信息的生产中心:  web 1.0 -> 百度贴吧、新浪微博、团购网站（用户评论，富有个人情感和用户观点的信息）
-3. 移动、无屏:  显示屏 -> 手机、Siri（展示的终端）
-
-## 篇章分析场景
-
-篇章分析重要性: 让人们最平等`便捷`地`获取信息`，`找到所求`。
-
-1. 个性化信息获取（搜索引擎的理解和推荐）: 从搜索的角度来看，通过对内容的深入理解，我们能够精准地对内容进行分析，然后将内容推荐给需要的用户，达到不搜即得。
-2. 便捷咨询阅读（头条的热门推荐）: 从资讯阅读的角度来看，我们通过对内容进行概括总结、形成摘要，就能搞让用户更快捷地浏览信息、获取知识。
-3. 信息直接满足: 更进一步说，对用户的问题，我们可以基于内容理解，直接给出答案，从而满足用户的需求。
-
-`总之`: 通过篇章分析，我们能够进行内容理解，从而更好地服务用户。
-
-## 篇章分析概述
-
-`篇章是形式上互相衔接、语义上前后连贯的句子序列。`
-
-有以下3种: 
-* 1.文章: 新闻稿、博客、微博
-* 2.评论: O2O服务的用户评论、豆瓣的影评、微博上的动态
-* 3.对话: 话题上是相互衔接的、语义上也是连贯的一个对话序列
-
-## 篇章分析任务
-
-![](img/3.1.篇章分析-内容标签/篇章分析任务.jpg)

docs/nlp/3.2.篇章分析-内容标签.md

-# 篇章分析-内容标签
-
-`标签`: 这种种的`单词`和`词组`都是一种标签的形式
-1. 新闻稿，打出关于该报道的各种各样的标签，来表示其关键信息
-2. 论文中，我们也会表明一些文章的`领域分类`以及`关键词`等标签
-3. 微博用#代表一个话题，这是典型的社会化标签
-
-## 标签用途
-
-1. 关键信息展示
-    * 用户可以大致了解文章的主要信息，从而决定要不要对信息进行进一步深入地浏览
-
-2. 频道划分
-    * 在很多的媒体网站，经常会有频道划分，使用了就是文章的分类标签
-
-3. 话题聚合
-    * 标签也可以用来做话题聚合（例如: #人民的名义# 集合所有关于这个话题的信息，让用户更深入的了解信息）
-
-## 应用: 个性化推荐
-
-* 标签可以用来建立用户的画像
-
-比如对对于用户搜索过的Query，还有他浏览过的文章，都可以通过标签的技术。提取出主要的兴趣点，从而也就建立了用户的画像
-
-* 标签可以对内容进行建模
-
-通过标签技术，我们能够提取文章中的关键信息标签。这样来看标签就作为了用户和内容的一个共同表示。
-
-* 推荐的时候，我们通过对用户画像的标签和内容模型的标签进行匹配，就能够对用户进行一个精准的个性化推荐
-
-## 百度内容标签
-
-![](img/3.2.篇章分析-内容标签/百度内容标签.jpg)
-
-## 标签体系: 面向推荐的标签图谱
-
-* 标签图谱刻画了用户的兴趣点，以及兴趣点之间的关联关系。
-* 节点表示了用户的兴趣点，而边表示了兴趣点之间的关联关系（边是带有权重的，表示关联强度）。
-* 包括3种节点: 主题标签-绿色，话题标签-紫色，实体标签-蓝色。
-* 有了关联关系，我们可以进行一定程度的探索和泛化。（例如: 无人驾驶和人工智能关联很强，如果有人看了无人驾驶，我们就给他推荐人工智能）
-
-![](img/3.2.篇章分析-内容标签/面向推荐的标签图谱.jpg)
-
-## 标签体系: 基于大数据分析的图谱构建
-
-* 用户信息来源: 贴吧、微博
-* 标签的相关性分析: 通过关联规则，发现2个标签总同时出现，我们觉得这是高相关的。
-
-![](img/3.2.篇章分析-内容标签/基于大数据分析的图谱构建.jpg)
-
-## 标签计算
-
-> 主题分类
-
-* 主题标签的计算，是一种很典型的文本分类问题: 传统的朴素贝叶斯、最大熵、SVM 等解决方案。
-* 当前我们主要采用的是: 基于神经网络的方法（可以看右侧的示意图）
-* 整个网络分成3层次: 
-    * 第一层 原始特征层: 抽取简单的原始特征，例如说文章出现的单词、词组 等等
-    * 第二层 表示层: 通过一些 embedding的算法、CNN、LSTM的方法
-    * 第三层 排序层: 计算文章与主题之间的相似度，具体会计算每个主题与文章的相似度，并将相似度作为最终的一个主题分类的结果。这种计算的好处能够天然的支持多标记，也就是一篇文章可以同时计算出多个主题标签。
-
-![](img/3.2.篇章分析-内容标签/主题分类.jpg)
-
-> 通用标签
-
-* 通用标签主要是计算内容中的实体和话题，我们综合了两种策略。
-* 第一种策略:  针对比较热门的高频标签
-    * 这种标签我们主要通过一些预测的方法得到，预测的方法: 基于相似度计算得到的---这种方法并不要求标签一定在文章中出现
-    * 例如: 美国大选这种标签，如果一篇文章出现了 `希拉里` `特朗普` `辩论` 等一些词，即使没有出现美国大选，我们通过语义相似度的方法也能把这个标签计算出来。
-* 第二种策略:  面向中低频的标签
-    * 这种标签相关的信息，不是那么丰富，所以我们计算的时候更多依赖的是标签在文章中的信息
-    * 比如: 这个标签在文章中出现的频率 或 出现的位置；如果出现在标题，那么它可能就会比较重要。
-* 通过融合这2种策略，形成我们通用标签的结果。
-
-![](img/3.2.篇章分析-内容标签/通用标签.jpg)
-
-## 内容标签在Feed流中的应用
-
-1. 标签可以用来话题聚合: 比如表示人工智能的标签全部都会集合到同一个话题下面。这样用户可以对人工智能这个话题进行非常充分的浏览。
-2. 话题频道划分: 比如我们在手机百度上面就可以看到，Feed流上面有多个栏目，用户可以点击 `体育` `时尚`等频道
-
-![](img/3.2.篇章分析-内容标签/内容标签在Feed流中的应用.jpg)

docs/nlp/3.命名实体识别.md

-
-
-
-使用Bakeoff-3评测中所采用的的BIO标注集:
-
-B-PER、I-PER 代表人名首字、人名非首字，
-B-LOC、I-LOC 代表地名首字、地名非首字，
-B-ORG、I-ORG 代表组织机构名首字、组织机构名非首字，
-O 代表该字不属于命名实体的一部分。
-
-
-输入输出的计算方式:    
-$$L_{out}=floor((L_{in}+2*padding-dilation*(kernerl\_size-1)-1)/stride+1)$$