Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
OpenDocCN
fasttext-doc-zh
提交
f198c655
F
fasttext-doc-zh
项目概览
OpenDocCN
/
fasttext-doc-zh
通知
1
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
F
fasttext-doc-zh
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
前往新版Gitcode,体验更适合开发者的 AI 搜索 >>
未验证
提交
f198c655
编写于
4月 25, 2018
作者:
K
Keqi Huang
提交者:
GitHub
4月 25, 2018
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
Update crawl-vectors.md
上级
88de2657
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
5 addition
and
5 deletion
+5
-5
doc/zh/crawl-vectors.md
doc/zh/crawl-vectors.md
+5
-5
未找到文件。
doc/zh/crawl-vectors.md
浏览文件 @
f198c655
...
...
@@ -3,11 +3,11 @@ id: crawl-vectors
title
:
Word vectors for 157 languages
---
我们发布了之前训练的
157
种语言的词向量,这些词向量是用 fasttext 在
[
*Common Crawl*
](
http://commoncrawl.org/
)
和
[
*Wikipedia*
](
https://www.wikipedia.org
)
上训练得出的
我们发布了之前训练的
157
种语言的词向量,这些词向量是用 fasttext 在
[
*Common Crawl*
](
http://commoncrawl.org/
)
和
[
*Wikipedia*
](
https://www.wikipedia.org
)
上训练得出的
这些词向量是由
CBOW训练而成,而且所使用的CBOW模型考虑了位置权重,包含了300个维度,并且也考虑了长度为5,包含十个负样本的大小为5的窗体的字符N
元模型。
这些词向量是由
CBOW 训练而成,而且所使用的 CBOW 模型考虑了位置权重,包含了 300个 维度,并且也考虑了长度为 5,包含十个负样本的大小为 5 的窗体的字符 N
元模型。
并且我们也发布了三种新的可供分析的数据集,分别是法语,印地语和波兰语
并且我们也发布了三种新的可供分析的数据集,分别是法语,印地语和波兰语
。
### 格式
...
...
@@ -18,7 +18,7 @@ title: Word vectors for 157 languages
$ ./fasttext print-word-vectors wiki.it.300.bin < oov_words.txt
```
其中
oov_words.txt
文件包含了词汇表之外的单词
其中
oov_words.txt
文件包含了词汇表之外的单词
在文本格式下,每一行包含一个单词,并且它的向量紧随其后
...
...
@@ -46,7 +46,7 @@ def load_vectors(fname):
对于使用拉丁文,西里尔文,希伯来文或希腊文的语言,我们用来自于
[
*Europarl*
](
http://www.statmt.org/europarl/
)
的预处理工具进行分词
剩下的语言,我们用
ICU
进行分词
剩下的语言,我们用
ICU
进行分词
想要了解更多关于这些模型训练的信息,可以查看这篇文章
[
*Learning Word Vectors for 157 Languages*
](
https://arxiv.org/abs/1802.06893
)
.
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录