提交 028f3a13 编写于 作者: Z zhengnengjin

update project_1 error and title size

上级 36960f5b
......@@ -2,8 +2,6 @@
import os
# os.environ['DEVICE_ID'] = '0'
# Log level includes 3(ERROR), 2(WARNING), 1(INFO), 0(DEBUG).
os.environ['GLOG_v'] = '1'
import matplotlib.pyplot as plt
import numpy as np
......
......@@ -262,7 +262,7 @@
" - `prefix`:保存的文件前缀名,如'ck_lenet'。\n",
" - `config`:配置策略信息,传入上文创建的CheckpointConfig对象。\n",
"\n",
"> `ModelCheckpoint`会生成和保存模型(.pkl)和Chekpoint(.ckpt)文件。"
"> `ModelCheckpoint`会生成和保存模型(.meta)和Chekpoint(.ckpt)文件。"
]
},
{
......
......@@ -60,7 +60,7 @@ experiment_3
├── 脚本等文件
└── cifar10
├── batches.meta.txt
├── test
├── eval
│   └── test_batch.bin
└── train
├── data_batch_1.bin
......@@ -169,14 +169,6 @@ else:
num_shards=device_num, shard_id=device_id)
```
导入并使用model_zoo里的resnet50模型:
```python
from mindspore.model_zoo.resnet import resnet50
# create model
net = resnet50(class_num = class_num)
```
使用数据增强,如随机裁剪、随机水平反转:
```python
......@@ -185,6 +177,14 @@ random_crop_op = C.RandomCrop((32, 32), (4, 4, 4, 4))
random_horizontal_flip_op = C.RandomHorizontalFlip(device_id / (device_id + 1))
```
导入并使用model_zoo里的resnet50模型:
```python
from mindspore.model_zoo.resnet import resnet50
# create model
net = resnet50(class_num = class_num)
```
`model_zoo.resnet`中resnet50定义如下:
```python
......
......@@ -94,7 +94,7 @@ BERT(Bidirectional Encoder Representations from Transformers),即基于Tra
更多BERT的介绍可以参考[Link](https://www.jianshu.com/p/d110d0c13063)
### 预训练BERT模型
### 预训练BERT
[BERT](https://github.com/google-research/bert)模型包含由不同隐含层数(number hidden layers)和隐含层单元数(hidden size)构成的不同版本。通常情况下使用Bert需要预训练(pretrain)和微调(fine-tune)两个阶段。预训练BERT模型通常需要在大数据集上多卡并行训练多天。本实验先以部分zhwiki数据集为例展示预训练的过程。
......@@ -103,7 +103,6 @@ BERT预训练阶段包含两个任务(两个输出):
- Mask语言模型(Mask LM):预测被掩盖掉(mask)的单词;
- NextSentence预测(NSP):判断句子对是否具有上下文关系,即句子B是否时句子A的下一句。
#### 代码梳理
model_zoo:Bert_NEZHA中包含两个模块:
......
......@@ -6,7 +6,6 @@
"source": [
"<h1 style=\"text-align:center\">调优模型和训练策略</h1>\n",
"\n",
"[TOC]\n",
"\n",
"## 作业介绍\n",
"\n",
......@@ -39,7 +38,7 @@
"\n",
"本实验需要使用华为云OBS存储脚本和数据集,可以参考[快速通过OBS控制台上传下载文件](https://support.huaweicloud.com/qs-obs/obs_qs_0001.html)了解使用OBS创建桶、上传文件、下载文件的使用方法。\n",
"\n",
"> **提示:**华为云新用户使用OBS时通常需要创建和配置“访问密钥”,可以在使用OBS时根据提示完成创建和配置。也可以参考[获取访问密钥并完成ModelArts全局配置](https://support.huaweicloud.com/prepare-modelarts/modelarts_08_0002.html)获取并配置访问密钥。\n",
"> **提示:** 华为云新用户使用OBS时通常需要创建和配置“访问密钥”,可以在使用OBS时根据提示完成创建和配置。也可以参考[获取访问密钥并完成ModelArts全局配置](https://support.huaweicloud.com/prepare-modelarts/modelarts_08_0002.html)获取并配置访问密钥。\n",
"\n",
"创建OBS桶的参考配置如下:\n",
"\n",
......@@ -99,13 +98,13 @@
"> - 打开Notebook前,在Jupyter Notebook文件列表页面,勾选目录里的所有文件/文件夹(脚本和数据集),并点击列表上方的“Sync OBS”按钮,使OBS桶中的所有文件同时同步到Notebook工作环境中,这样Notebook中的代码才能访问数据集。参考[使用Sync OBS功能](https://support.huaweicloud.com/engineers-modelarts/modelarts_23_0038.html)。\n",
"> - 打开Notebook后,选择MindSpore环境作为Kernel。\n",
"\n",
"> **提示:**上述数据集和脚本的准备工作也可以在Notebook环境中完成,在Jupyter Notebook文件列表页面,点击右上角的\"New\"->\"Terminal\",进入Notebook环境所在终端,进入`work`目录,可以使用常用的linux shell命令,如`wget, gzip, tar, mkdir, mv`等,完成数据集和脚本的下载和准备。\n",
"> **提示:** 上述数据集和脚本的准备工作也可以在Notebook环境中完成,在Jupyter Notebook文件列表页面,点击右上角的\"New\"->\"Terminal\",进入Notebook环境所在终端,进入`work`目录,可以使用常用的linux shell命令,如`wget, gzip, tar, mkdir, mv`等,完成数据集和脚本的下载和准备。\n",
"\n",
"## 作业内容\n",
"\n",
"作业基于上述打开的Notebook进行,进行作业前请确保完成了上述准备工作。\n",
"\n",
"> **提示:**请从上至下阅读提示并执行代码框进行体验。代码框执行过程中左侧呈现[\\*],代码框执行完毕后左侧呈现如[1],[2]等。请等上一个代码框执行完毕后再执行下一个代码框。\n",
"> **提示:** 请从上至下阅读提示并执行代码框进行体验。代码框执行过程中左侧呈现[\\*],代码框执行完毕后左侧呈现如[1],[2]等。请等上一个代码框执行完毕后再执行下一个代码框。\n",
"\n",
"导入MindSpore模块和辅助模块:"
]
......@@ -167,9 +166,9 @@
}
],
"source": [
"DATA_DIR_TRAIN = \"/home/share/dataset/cifar-10-batches-bin/train\" # 训练集信息\n",
"DATA_DIR_TEST = \"/home/share/dataset/cifar-10-batches-bin/eval\" # 测试集信息\n",
"LABELS = \"/home/share/dataset/cifar-10-batches-bin/batches.meta.txt\" # 标签信息\n",
"DATA_DIR_TRAIN = \"cifar10rain\" # 训练集信息\n",
"DATA_DIR_TEST = \"cifar10/eval\" # 测试集信息\n",
"LABELS = \"cifar10/batches.meta.txt\" # 标签信息\n",
"\n",
"ds = ms.dataset.Cifar10Dataset(DATA_DIR_TRAIN)\n",
"ds = ds.create_dict_iterator()\n",
......@@ -288,7 +287,7 @@
"cell_type": "markdown",
"metadata": {},
"source": [
"> **注意:**调试完毕后,需注释掉网络定义中`construct`里的打印语句:`print(output.shape())`,并将切换为Graph模式进行模型训练。"
"> **注意:** 调试完毕后,需注释掉网络定义中`construct`里的打印语句:`print(output.shape())`,并将切换为Graph模式进行模型训练。"
]
},
{
......@@ -557,7 +556,7 @@
"name": "python",
"nbconvert_exporter": "python",
"pygments_lexer": "ipython3",
"version": "3.7.5"
"version": "3.7.6"
}
},
"nbformat": 4,
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册