# 1\. 前言

## 1.1\. 关于

### 1.1.1\. 关于这个笔记

这是[ PySpark 学习手册](https://github.com/runawayhorse001/LearningApacheSpark)的共享仓库。第一个版本发布在 [ChenFeng](https://mingchen0919.github.io/learning-apache-spark/index.html)（[[Feng2017]](reference.html#feng2017)）的 Github 上。 这个共享仓库主要包含 Wenqiang 在[ IMA 数据科学项目](https://www.ima.umn.edu/2016-2017/SW1.23-3.10.17#)期间的自学和教学笔记。 读者可以参考仓库 [apachecn/learning-pyspark-zh](https://github.com/apachecn/learning-pyspark-zh)，了解`dataset`和`.ipynb`文件的更多详细信息。

在此仓库中，我尝试使用详细的演示代码和示例来说明如何使用每个主要函数。如果您发现本文未引用您的作品，请随时告诉我。

虽然我绝不是数据挖掘编程和大数据专家，但我决定以简单的教程和详细的例子，分享我对 PySpark 编程的见解。我希望这些教程将成为您学习的宝贵工具。

教程假设读者具有编程和 Linux 的初步知识。英文文档是使用 [sphinx](http://sphinx.pocoo.org) 自动生成的。

### 1.1.2\. 关于作者

*   **Wenqiang Feng**

    *   数据科学家和数学 PhD
    *   田纳西大学，诺克斯维尔
    *   Email: [von198@gmail.com](mailto:von198%40gmail.com)
*   **自传**

    Wenqiang Feng 是 DST 应用分析小组的数据科学家。 Feng 博士的职责包括为 DST 客户提供最先进的技术和技术，包括大数据分析解决方案，高级分析和数据增强技术以及建模。

    Feng 博士在数据挖掘，分析系统，机器学习算法，商业智能以及应用大数据工具方面，拥有深厚的分析专业知识，可以战略性地解决跨功能业务中的行业问题。 在加入 DST 之前，Feng 博士是明尼苏达大学数学及其应用研究所（IMA）的数据科学研究员。 在那里，他帮助初创公司根据深度预测分析做出营销决策。

    Feng 博士毕业于田纳西大学，诺克斯维尔，拥有博士学位，和计算数学和统计学硕士学位。 他还拥有密苏里科技大学（MST）计算数学硕士学位和中国科学技术大学（USTC）应用数学硕士学位。

*   **声明**

    在 IMA 工作期间，Feng 的工作得到了 IMA 的支持。 但是，本材料中表达的任何意见，发现，结论或建议均为作者的意见，并不一定反映 IMA，UTK 和 DST 的观点。

## 1.2\. 这个教程的动机

我受到[ IMA 数据科学项目](https://www.ima.umn.edu/2016-2017/SW1.23-3.10.17#)项目的启发，来学习 PySpark。 之后，我对 PySpark 印象深刻。 我觉得：

> 1.  可以毫不夸张地说，Spark 是最强大的大数据工具。
> 2.  但是，我仍然发现学习 Spark 是一个艰难的过程。 我必须搜索并确定哪一个是对的。 很难找到详细的例子，我可以用它轻松地在一个文件中学习完整的过程。
> 3.  对于研究生来说，好的资源是昂贵的。

## 1.3\. 版权声明和协议信息

本文档中的代码遵循[ MIT 协议](https://github.com/runawayhorse001/LearningApacheSpark/blob/master/LICENSE)，文字遵循[ CC BY-NC-SA 4.0 协议](https://creativecommons.org/licenses/by-nc-sa/4.0/legalcode)。

**当您计划使用，复制，修改，合并，发布，分发或再授权时，请查看这些协议的条款来获取更多详细信息，并向作者提供相应的署名**。

## 1.4\. 致谢

在此，我要感谢田纳西大学，诺克斯维尔的 Ming Chen，Jian Sun 和 Zhongbo Li 的宝贵讨论，并感谢慷慨的匿名作者在互联网上提供详细的解决方案和源代码。 没有这些帮助，就无法建立这个CAE库。 Wenqiang 还要感谢[明尼苏达大学双子城](https://twin-cities.umn.edu/)的[数学及其应用研究所（IMA）](https://www.ima.umn.edu/)，在他的 IMA 数据科学家项目期间提供支持。

特别感谢[ Haiping Lu 博士](http://staffwww.dcs.shef.ac.uk/people/H.Lu/)，谢菲尔德大学计算机科学系机器学习讲师，在他的教学中推荐和大量使用我的教程，并提出了有价值的建议。

## 1.5\. 反馈和建议

非常感谢您的意见和建议。 我非常乐意通过电子邮件（[von198@gmail.com](mailto:von198%40gmail.com)）收到更正，建议或反馈，以便进行改进。
