Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
MindSpore
course
提交
028f3a13
C
course
项目概览
MindSpore
/
course
通知
4
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
C
course
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
前往新版Gitcode,体验更适合开发者的 AI 搜索 >>
提交
028f3a13
编写于
5月 21, 2020
作者:
Z
zhengnengjin
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
update project_1 error and title size
上级
36960f5b
变更
5
隐藏空白更改
内联
并排
Showing
5 changed file
with
19 addition
and
23 deletion
+19
-23
experiment_1/main.py
experiment_1/main.py
+0
-2
experiment_2/2-Save_And_Load_Model.ipynb
experiment_2/2-Save_And_Load_Model.ipynb
+1
-1
experiment_3/3-Computer_Vision.md
experiment_3/3-Computer_Vision.md
+9
-9
experiment_4/4-Natural_Language_Processing.md
experiment_4/4-Natural_Language_Processing.md
+1
-2
project_1/1-Model_Optimization.ipynb
project_1/1-Model_Optimization.ipynb
+8
-9
未找到文件。
experiment_1/main.py
浏览文件 @
028f3a13
...
...
@@ -2,8 +2,6 @@
import
os
# os.environ['DEVICE_ID'] = '0'
# Log level includes 3(ERROR), 2(WARNING), 1(INFO), 0(DEBUG).
os
.
environ
[
'GLOG_v'
]
=
'1'
import
matplotlib.pyplot
as
plt
import
numpy
as
np
...
...
experiment_2/2-Save_And_Load_Model.ipynb
浏览文件 @
028f3a13
...
...
@@ -262,7 +262,7 @@
" - `prefix`:保存的文件前缀名,如'ck_lenet'。\n",
" - `config`:配置策略信息,传入上文创建的CheckpointConfig对象。\n",
"\n",
"> `ModelCheckpoint`会生成和保存模型(.
pkl
)和Chekpoint(.ckpt)文件。"
"> `ModelCheckpoint`会生成和保存模型(.
meta
)和Chekpoint(.ckpt)文件。"
]
},
{
...
...
experiment_3/3-Computer_Vision.md
浏览文件 @
028f3a13
...
...
@@ -60,7 +60,7 @@ experiment_3
├── 脚本等文件
└── cifar10
├── batches.meta.txt
├──
test
├──
eval
│ └── test_batch.bin
└── train
├── data_batch_1.bin
...
...
@@ -169,14 +169,6 @@ else:
num_shards
=
device_num
,
shard_id
=
device_id
)
```
导入并使用model_zoo里的resnet50模型:
```
python
from
mindspore.model_zoo.resnet
import
resnet50
# create model
net
=
resnet50
(
class_num
=
class_num
)
```
使用数据增强,如随机裁剪、随机水平反转:
```
python
...
...
@@ -185,6 +177,14 @@ random_crop_op = C.RandomCrop((32, 32), (4, 4, 4, 4))
random_horizontal_flip_op
=
C
.
RandomHorizontalFlip
(
device_id
/
(
device_id
+
1
))
```
导入并使用model_zoo里的resnet50模型:
```
python
from
mindspore.model_zoo.resnet
import
resnet50
# create model
net
=
resnet50
(
class_num
=
class_num
)
```
`model_zoo.resnet`
中resnet50定义如下:
```
python
...
...
experiment_4/4-Natural_Language_Processing.md
浏览文件 @
028f3a13
...
...
@@ -94,7 +94,7 @@ BERT(Bidirectional Encoder Representations from Transformers),即基于Tra
更多BERT的介绍可以参考
[
Link
](
https://www.jianshu.com/p/d110d0c13063
)
### 预训练BERT
模型
### 预训练BERT
[
BERT
](
https://github.com/google-research/bert
)
模型包含由不同隐含层数(number hidden layers)和隐含层单元数(hidden size)构成的不同版本。通常情况下使用Bert需要预训练(pretrain)和微调(fine-tune)两个阶段。预训练BERT模型通常需要在大数据集上多卡并行训练多天。本实验先以部分zhwiki数据集为例展示预训练的过程。
...
...
@@ -103,7 +103,6 @@ BERT预训练阶段包含两个任务(两个输出):
-
Mask语言模型(Mask LM):预测被掩盖掉(mask)的单词;
-
NextSentence预测(NSP):判断句子对是否具有上下文关系,即句子B是否时句子A的下一句。
#### 代码梳理
model_zoo:Bert_NEZHA中包含两个模块:
...
...
project_1/1-Model_Optimization.ipynb
浏览文件 @
028f3a13
...
...
@@ -6,7 +6,6 @@
"source": [
"<h1 style=\"text-align:center\">调优模型和训练策略</h1>\n",
"\n",
"[TOC]\n",
"\n",
"## 作业介绍\n",
"\n",
...
...
@@ -39,7 +38,7 @@
"\n",
"本实验需要使用华为云OBS存储脚本和数据集,可以参考[快速通过OBS控制台上传下载文件](https://support.huaweicloud.com/qs-obs/obs_qs_0001.html)了解使用OBS创建桶、上传文件、下载文件的使用方法。\n",
"\n",
"> **提示:**华为云新用户使用OBS时通常需要创建和配置“访问密钥”,可以在使用OBS时根据提示完成创建和配置。也可以参考[获取访问密钥并完成ModelArts全局配置](https://support.huaweicloud.com/prepare-modelarts/modelarts_08_0002.html)获取并配置访问密钥。\n",
"> **提示:**
华为云新用户使用OBS时通常需要创建和配置“访问密钥”,可以在使用OBS时根据提示完成创建和配置。也可以参考[获取访问密钥并完成ModelArts全局配置](https://support.huaweicloud.com/prepare-modelarts/modelarts_08_0002.html)获取并配置访问密钥。\n",
"\n",
"创建OBS桶的参考配置如下:\n",
"\n",
...
...
@@ -99,13 +98,13 @@
"> - 打开Notebook前,在Jupyter Notebook文件列表页面,勾选目录里的所有文件/文件夹(脚本和数据集),并点击列表上方的“Sync OBS”按钮,使OBS桶中的所有文件同时同步到Notebook工作环境中,这样Notebook中的代码才能访问数据集。参考[使用Sync OBS功能](https://support.huaweicloud.com/engineers-modelarts/modelarts_23_0038.html)。\n",
"> - 打开Notebook后,选择MindSpore环境作为Kernel。\n",
"\n",
"> **提示:**上述数据集和脚本的准备工作也可以在Notebook环境中完成,在Jupyter Notebook文件列表页面,点击右上角的\"New\"->\"Terminal\",进入Notebook环境所在终端,进入`work`目录,可以使用常用的linux shell命令,如`wget, gzip, tar, mkdir, mv`等,完成数据集和脚本的下载和准备。\n",
"> **提示:**
上述数据集和脚本的准备工作也可以在Notebook环境中完成,在Jupyter Notebook文件列表页面,点击右上角的\"New\"->\"Terminal\",进入Notebook环境所在终端,进入`work`目录,可以使用常用的linux shell命令,如`wget, gzip, tar, mkdir, mv`等,完成数据集和脚本的下载和准备。\n",
"\n",
"## 作业内容\n",
"\n",
"作业基于上述打开的Notebook进行,进行作业前请确保完成了上述准备工作。\n",
"\n",
"> **提示:**请从上至下阅读提示并执行代码框进行体验。代码框执行过程中左侧呈现[\\*],代码框执行完毕后左侧呈现如[1],[2]等。请等上一个代码框执行完毕后再执行下一个代码框。\n",
"> **提示:**
请从上至下阅读提示并执行代码框进行体验。代码框执行过程中左侧呈现[\\*],代码框执行完毕后左侧呈现如[1],[2]等。请等上一个代码框执行完毕后再执行下一个代码框。\n",
"\n",
"导入MindSpore模块和辅助模块:"
]
...
...
@@ -167,9 +166,9 @@
}
],
"source": [
"DATA_DIR_TRAIN = \"
/home/share/dataset/cifar-10-batches-bin/t
rain\" # 训练集信息\n",
"DATA_DIR_TEST = \"
/home/share/dataset/cifar-10-batches-bin
/eval\" # 测试集信息\n",
"LABELS = \"
/home/share/dataset/cifar-10-batches-bin
/batches.meta.txt\" # 标签信息\n",
"DATA_DIR_TRAIN = \"
cifar10
rain\" # 训练集信息\n",
"DATA_DIR_TEST = \"
cifar10
/eval\" # 测试集信息\n",
"LABELS = \"
cifar10
/batches.meta.txt\" # 标签信息\n",
"\n",
"ds = ms.dataset.Cifar10Dataset(DATA_DIR_TRAIN)\n",
"ds = ds.create_dict_iterator()\n",
...
...
@@ -288,7 +287,7 @@
"cell_type": "markdown",
"metadata": {},
"source": [
"> **注意:**调试完毕后,需注释掉网络定义中`construct`里的打印语句:`print(output.shape())`,并将切换为Graph模式进行模型训练。"
"> **注意:**
调试完毕后,需注释掉网络定义中`construct`里的打印语句:`print(output.shape())`,并将切换为Graph模式进行模型训练。"
]
},
{
...
...
@@ -557,7 +556,7 @@
"name": "python",
"nbconvert_exporter": "python",
"pygments_lexer": "ipython3",
"version": "3.7.
5
"
"version": "3.7.
6
"
}
},
"nbformat": 4,
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录