提交 9ebd08a5 编写于 作者: C chengmo 提交者: tangwei

fix

上级 a929a990
...@@ -87,30 +87,30 @@ Reader的逻辑需要一个单独的python文件进行描述。我们试写一 ...@@ -87,30 +87,30 @@ Reader的逻辑需要一个单独的python文件进行描述。我们试写一
3.`init(self)`函数中声明一些在数据读取中会用到的变量,必要时可以在`config.yaml`文件中配置变量,利用`env.get_global_env()`拿到。 3.`init(self)`函数中声明一些在数据读取中会用到的变量,必要时可以在`config.yaml`文件中配置变量,利用`env.get_global_env()`拿到。
比如,我们希望从yaml文件中读取一个数据预处理变量`avg=10`,目的是将数据A的数据缩小10倍,可以这样实现: 比如,我们希望从yaml文件中读取一个数据预处理变量`avg=10`,目的是将数据A的数据缩小10倍,可以这样实现:
首先更改yaml文件,在某个space下加入该变量 首先更改yaml文件,在某个space下加入该变量
```yaml ```yaml
... ...
train: train:
reader: reader:
avg: 10 avg: 10
... ...
``` ```
再更改Reader的init函数 再更改Reader的init函数
```python ```python
from paddlerec.core.utils import envs from paddlerec.core.utils import envs
class TrainerReader(Reader): class TrainerReader(Reader):
def init(self): def init(self):
self.avg = envs.get_global_env("avg", None, "train.reader") self.avg = envs.get_global_env("avg", None, "train.reader")
def generator_sample(self, line): def generator_sample(self, line):
pass pass
``` ```
4. 继承并实现基类中的`generate_sample(self, line)`函数,逐行读取数据。 4. 继承并实现基类中的`generate_sample(self, line)`函数,逐行读取数据。
- 该函数应返回一个可以迭代的reader方法(带有yield的函数不再是一个普通的函数,而是一个生成器generator,成为了可以迭代的对象,等价于一个数组、链表、文件、字符串etc.) - 该函数应返回一个可以迭代的reader方法(带有yield的函数不再是一个普通的函数,而是一个生成器generator,成为了可以迭代的对象,等价于一个数组、链表、文件、字符串etc.)
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册