From 36960f5b7cb9301d926c41003be861ee624ad342 Mon Sep 17 00:00:00 2001 From: njzheng <254423959@qq.com> Date: Wed, 20 May 2020 16:33:46 +0800 Subject: [PATCH] Modify error and title size --- experiment_1/1-LeNet5_MNIST.ipynb | 12 ++++++------ experiment_2/2-Save_And_Load_Model.ipynb | 12 ++++++------ experiment_3/3-Computer_Vision.md | 3 +-- experiment_4/4-Natural_Language_Processing.md | 13 +++++++------ 4 files changed, 20 insertions(+), 20 deletions(-) diff --git a/experiment_1/1-LeNet5_MNIST.ipynb b/experiment_1/1-LeNet5_MNIST.ipynb index 57f357e..6ae353f 100644 --- a/experiment_1/1-LeNet5_MNIST.ipynb +++ b/experiment_1/1-LeNet5_MNIST.ipynb @@ -6,7 +6,6 @@ "source": [ "

基于LeNet5的手写数字识别

\n", "\n", - "[TOC]\n", "\n", "## 实验介绍\n", "\n", @@ -36,7 +35,7 @@ "\n", "本实验需要使用华为云OBS存储实验脚本和数据集,可以参考[快速通过OBS控制台上传下载文件](https://support.huaweicloud.com/qs-obs/obs_qs_0001.html)了解使用OBS创建桶、上传文件、下载文件的使用方法。\n", "\n", - "> **提示:**华为云新用户使用OBS时通常需要创建和配置“访问密钥”,可以在使用OBS时根据提示完成创建和配置。也可以参考[获取访问密钥并完成ModelArts全局配置](https://support.huaweicloud.com/prepare-modelarts/modelarts_08_0002.html)获取并配置访问密钥。\n", + "> **提示:** 华为云新用户使用OBS时通常需要创建和配置“访问密钥”,可以在使用OBS时根据提示完成创建和配置。也可以参考[获取访问密钥并完成ModelArts全局配置](https://support.huaweicloud.com/prepare-modelarts/modelarts_08_0002.html)获取并配置访问密钥。\n", "\n", "创建OBS桶的参考配置如下:\n", "\n", @@ -102,9 +101,9 @@ "> - 打开Notebook前,在Jupyter Notebook文件列表页面,勾选目录里的所有文件/文件夹(实验脚本和数据集),并点击列表上方的“Sync OBS”按钮,使OBS桶中的所有文件同时同步到Notebook工作环境中,这样Notebook中的代码才能访问数据集。参考[使用Sync OBS功能](https://support.huaweicloud.com/engineers-modelarts/modelarts_23_0038.html)。\n", "> - 打开Notebook后,选择MindSpore环境作为Kernel。\n", "\n", - "> **提示:**上述数据集和脚本的准备工作也可以在Notebook环境中完成,在Jupyter Notebook文件列表页面,点击右上角的\"New\"->\"Terminal\",进入Notebook环境所在终端,进入`work`目录,可以使用常用的linux shell命令,如`wget, gzip, tar, mkdir, mv`等,完成数据集和脚本的下载和准备。\n", + "> **提示:** 上述数据集和脚本的准备工作也可以在Notebook环境中完成,在Jupyter Notebook文件列表页面,点击右上角的\"New\"->\"Terminal\",进入Notebook环境所在终端,进入`work`目录,可以使用常用的linux shell命令,如`wget, gzip, tar, mkdir, mv`等,完成数据集和脚本的下载和准备。\n", "\n", - "> **提示:**请从上至下阅读提示并执行代码框进行体验。代码框执行过程中左侧呈现[\\*],代码框执行完毕后左侧呈现如[1],[2]等。请等上一个代码框执行完毕后再执行下一个代码框。\n", + "> **提示:** 请从上至下阅读提示并执行代码框进行体验。代码框执行过程中左侧呈现[\\*],代码框执行完毕后左侧呈现如[1],[2]等。请等上一个代码框执行完毕后再执行下一个代码框。\n", "\n", "导入MindSpore模块和辅助模块:" ] @@ -221,6 +220,7 @@ "定义LeNet5模型,模型结构如下图所示。\n", "\n", "\n", + "\n", "[1] 图片来源于http://deeplearning.net" ] }, @@ -294,7 +294,7 @@ "source": [ "使用随机初始化的LeNet模型对手写数字进行识别,可以看到识别结果是随机的(大多数情况下是错误的)。\n", "\n", - "> **提示:**MindSpore提供的基础数据类型为Tensor,Tensor支持numpy、list、tuple作为输入,并将其转换为Tensor类型。" + "> **提示:** MindSpore提供的基础数据类型为Tensor,Tensor支持numpy、list、tuple作为输入,并将其转换为Tensor类型。" ] }, { @@ -509,7 +509,7 @@ "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", - "version": "3.7.5" + "version": "3.7.6" } }, "nbformat": 4, diff --git a/experiment_2/2-Save_And_Load_Model.ipynb b/experiment_2/2-Save_And_Load_Model.ipynb index 7cb3a14..1108659 100644 --- a/experiment_2/2-Save_And_Load_Model.ipynb +++ b/experiment_2/2-Save_And_Load_Model.ipynb @@ -6,7 +6,6 @@ "source": [ "

训练时模型的保存和加载

\n", "\n", - "[TOC]\n", "\n", "## 实验介绍\n", "\n", @@ -36,7 +35,7 @@ "\n", "本实验需要使用华为云OBS存储实验脚本和数据集,可以参考[快速通过OBS控制台上传下载文件](https://support.huaweicloud.com/qs-obs/obs_qs_0001.html)了解使用OBS创建桶、上传文件、下载文件的使用方法。\n", "\n", - "> **提示:**华为云新用户使用OBS时通常需要创建和配置“访问密钥”,可以在使用OBS时根据提示完成创建和配置。也可以参考[获取访问密钥并完成ModelArts全局配置](https://support.huaweicloud.com/prepare-modelarts/modelarts_08_0002.html)获取并配置访问密钥。\n", + "> **提示:** 华为云新用户使用OBS时通常需要创建和配置“访问密钥”,可以在使用OBS时根据提示完成创建和配置。也可以参考[获取访问密钥并完成ModelArts全局配置](https://support.huaweicloud.com/prepare-modelarts/modelarts_08_0002.html)获取并配置访问密钥。\n", "\n", "创建OBS桶的参考配置如下:\n", "\n", @@ -70,7 +69,7 @@ "将脚本和数据集上传到OBS桶中,组织为如下形式:\n", "\n", "```\n", - "experiment_1\n", + "experiment_2\n", "├── MNIST\n", "│   ├── test\n", "│   │   ├── t10k-images-idx3-ubyte\n", @@ -184,6 +183,7 @@ "定义LeNet5模型,模型结构如下图所示。\n", "\n", "\n", + "\n", "[1] 图片来源于http://deeplearning.net" ] }, @@ -513,8 +513,8 @@ "- 算法来源:常用框架->Ascend-Powered-Engine->MindSpore\n", "- 代码目录:选择上述新建的OBS桶中的experiment_2目录\n", "- 启动文件:选择上述新建的OBS桶中的experiment_2目录下的`main.py`\n", - "- 数据来源:数据存储位置->选择上述新建的OBS桶中的experiment_1文件夹下的MNIST目录\n", - "- 训练输出位置:选择上述新建的OBS桶中的experiment_1目录并在其中创建output目录\n", + "- 数据来源:数据存储位置->选择上述新建的OBS桶中的experiment_2文件夹下的MNIST目录\n", + "- 训练输出位置:选择上述新建的OBS桶中的experiment_2目录并在其中创建output目录\n", "- 作业日志路径:同训练输出位置\n", "- 规格:Ascend:1*Ascend 910\n", "- 其他均为默认\n", @@ -558,7 +558,7 @@ "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", - "version": "3.7.5" + "version": "3.7.6" } }, "nbformat": 4, diff --git a/experiment_3/3-Computer_Vision.md b/experiment_3/3-Computer_Vision.md index 0030994..4b98504 100644 --- a/experiment_3/3-Computer_Vision.md +++ b/experiment_3/3-Computer_Vision.md @@ -1,6 +1,5 @@

计算机视觉应用

-[TOC] ## 实验介绍 @@ -30,7 +29,7 @@ 本实验需要使用华为云OBS存储脚本和数据集,可以参考[快速通过OBS控制台上传下载文件](https://support.huaweicloud.com/qs-obs/obs_qs_0001.html)了解使用OBS创建桶、上传文件、下载文件的使用方法。 -> **提示:**华为云新用户使用OBS时通常需要创建和配置“访问密钥”,可以在使用OBS时根据提示完成创建和配置。也可以参考[获取访问密钥并完成ModelArts全局配置](https://support.huaweicloud.com/prepare-modelarts/modelarts_08_0002.html)获取并配置访问密钥。 +> **提示:** 华为云新用户使用OBS时通常需要创建和配置“访问密钥”,可以在使用OBS时根据提示完成创建和配置。也可以参考[获取访问密钥并完成ModelArts全局配置](https://support.huaweicloud.com/prepare-modelarts/modelarts_08_0002.html)获取并配置访问密钥。 创建OBS桶的参考配置如下: diff --git a/experiment_4/4-Natural_Language_Processing.md b/experiment_4/4-Natural_Language_Processing.md index 5880d42..da39971 100644 --- a/experiment_4/4-Natural_Language_Processing.md +++ b/experiment_4/4-Natural_Language_Processing.md @@ -1,6 +1,5 @@

自然语言处理应用

-[TOC] ## 实验介绍 @@ -30,7 +29,7 @@ 本实验需要使用华为云OBS存储脚本和数据集,可以参考[快速通过OBS控制台上传下载文件](https://support.huaweicloud.com/qs-obs/obs_qs_0001.html)了解使用OBS创建桶、上传文件、下载文件的使用方法。 -> **提示:**华为云新用户使用OBS时通常需要创建和配置“访问密钥”,可以在使用OBS时根据提示完成创建和配置。也可以参考[获取访问密钥并完成ModelArts全局配置](https://support.huaweicloud.com/prepare-modelarts/modelarts_08_0002.html)获取并配置访问密钥。 +> **提示:** 华为云新用户使用OBS时通常需要创建和配置“访问密钥”,可以在使用OBS时根据提示完成创建和配置。也可以参考[获取访问密钥并完成ModelArts全局配置](https://support.huaweicloud.com/prepare-modelarts/modelarts_08_0002.html)获取并配置访问密钥。 创建OBS桶的参考配置如下: @@ -104,7 +103,8 @@ BERT预训练阶段包含两个任务(两个输出): - Mask语言模型(Mask LM):预测被掩盖掉(mask)的单词; - NextSentence预测(NSP):判断句子对是否具有上下文关系,即句子B是否时句子A的下一句。 -### 代码梳理 + +#### 代码梳理 model_zoo:Bert_NEZHA中包含两个模块: @@ -214,6 +214,7 @@ class BertModel(nn.Cell): `BertAttention`为Multi-Head Attention: ![Multi-Head Attention](https://pic3.zhimg.com/80/v2-58d60594bc3e9cbe47faec82ef29fd76_720w.jpg) + [4] 图片来源于https://zhuanlan.zhihu.com/p/34781297 和https://arxiv.org/pdf/1706.03762.pdf 创建训练作业时,运行参数会通过脚本传参的方式输入给脚本代码,脚本必须解析传参才能在代码中使用相应参数。如data_url和train_url,分别对应数据存储路径(OBS路径)和训练输出路径(OBS路径)。脚本对传参进行解析后赋值到`args`变量里,在后续代码里可以使用。 @@ -304,7 +305,7 @@ class BertNERModel(nn.Cell): 可以参考[使用常用框架训练模型](https://support.huaweicloud.com/engineers-modelarts/modelarts_23_0238.html)来创建并启动训练作业。 -### 代码梳理 +#### 代码梳理 创建训练作业的参考配置: @@ -324,11 +325,11 @@ class BertNERModel(nn.Cell): 3. 点击运行中的训练作业,在展开的窗口中可以查看作业配置信息,以及训练过程中的日志,日志会不断刷新,等训练作业完成后也可以下载日志到本地进行查看; 4. 在训练日志中可以看到`epoch: 3, step: 10005, outputs are (1.4425085, False)`等字段,即微调过程的输出; -## 验证BERT +### 验证BERT 在TNEWS验证集上对微调后的BERT模型做验证(evaluation)。 -### 代码梳理 +#### 代码梳理 验证BERT依赖如下几个模块: -- GitLab