Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
hexbee
Cloudreve
提交
52c2422b
C
Cloudreve
项目概览
hexbee
/
Cloudreve
通知
2
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
C
Cloudreve
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
前往新版Gitcode,体验更适合开发者的 AI 搜索 >>
提交
52c2422b
编写于
4月 28, 2020
作者:
H
HFO4
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
Feat: list oss files
上级
1afc750d
变更
3
隐藏空白更改
内联
并排
Showing
3 changed file
with
69 addition
and
28 deletion
+69
-28
pkg/filesystem/driver/oss/handler.go
pkg/filesystem/driver/oss/handler.go
+56
-22
pkg/task/import.go
pkg/task/import.go
+11
-6
pkg/task/import_test.go
pkg/task/import_test.go
+2
-0
未找到文件。
pkg/filesystem/driver/oss/handler.go
浏览文件 @
52c2422b
...
...
@@ -18,6 +18,7 @@ import (
"io"
"net/url"
"path"
"path/filepath"
"strings"
"time"
)
...
...
@@ -100,39 +101,72 @@ func (handler *Driver) InitOSSClient() error {
return
nil
}
func
(
handler
Driver
)
List
(
ctx
context
.
Context
,
path
string
,
recursive
bool
)
([]
response
.
Object
,
error
)
{
// List 列出OSS上的文件
func
(
handler
Driver
)
List
(
ctx
context
.
Context
,
base
string
,
recursive
bool
)
([]
response
.
Object
,
error
)
{
// 初始化客户端
if
err
:=
handler
.
InitOSSClient
();
err
!=
nil
{
return
nil
,
err
}
// 列取文件
options
:=
[]
oss
.
Option
{
oss
.
Prefix
(
strings
.
TrimPrefix
(
path
,
"/"
)),
}
if
recursive
{
options
=
append
(
options
,
oss
.
Delimiter
(
"/"
))
base
=
strings
.
TrimPrefix
(
base
,
"/"
)
delimiter
:=
""
if
!
recursive
{
delimiter
=
"/"
}
listRes
,
err
:=
handler
.
bucket
.
ListObjects
(
options
...
)
if
err
!=
nil
{
return
nil
,
err
marker
:=
""
var
(
objects
[]
oss
.
ObjectProperties
commons
[]
string
)
for
{
subRes
,
err
:=
handler
.
bucket
.
ListObjects
(
oss
.
Marker
(
marker
),
oss
.
Prefix
(
base
),
oss
.
MaxKeys
(
1000
),
oss
.
Delimiter
(
delimiter
))
if
err
!=
nil
{
return
nil
,
err
}
objects
=
append
(
objects
,
subRes
.
Objects
...
)
commons
=
append
(
commons
,
subRes
.
CommonPrefixes
...
)
marker
=
subRes
.
NextMarker
if
marker
==
""
{
break
}
}
// 处理列取结果
res
:=
make
([]
response
.
Object
,
len
(
listRes
.
CommonPrefixes
)
+
len
(
listRes
.
Object
s
))
res
:=
make
([]
response
.
Object
,
0
,
len
(
objects
)
+
len
(
common
s
))
// 处理目录
//for _,object := range listRes.CommonPrefixes{
// res = append(res,response.Object{
// Name: "",
// RelativePath: "",
// Source: "",
// Size: 0,
// IsDir: false,
// LastModify: time.Time{},
// })
//}
return
res
,
err
for
_
,
object
:=
range
commons
{
rel
,
err
:=
filepath
.
Rel
(
base
,
object
)
if
err
!=
nil
{
continue
}
res
=
append
(
res
,
response
.
Object
{
Name
:
path
.
Base
(
object
),
RelativePath
:
filepath
.
ToSlash
(
rel
),
Size
:
0
,
IsDir
:
true
,
LastModify
:
time
.
Now
(),
})
}
// 处理文件
for
_
,
object
:=
range
objects
{
rel
,
err
:=
filepath
.
Rel
(
base
,
object
.
Key
)
if
err
!=
nil
{
continue
}
res
=
append
(
res
,
response
.
Object
{
Name
:
path
.
Base
(
object
.
Key
),
Source
:
object
.
Key
,
RelativePath
:
filepath
.
ToSlash
(
rel
),
Size
:
uint64
(
object
.
Size
),
IsDir
:
false
,
LastModify
:
object
.
LastModified
,
})
}
return
res
,
nil
}
// Get 获取文件
...
...
pkg/task/import.go
浏览文件 @
52c2422b
...
...
@@ -146,13 +146,18 @@ func (job *ImportTask) Do() {
if
parent
,
ok
:=
pathCache
[
virtualPath
];
ok
{
parentFolder
=
parent
}
else
{
folder
,
err
:=
fs
.
CreateDirectory
(
context
.
Background
(),
virtualPath
)
if
err
!=
nil
{
util
.
Log
()
.
Warning
(
"导入任务无法创建用户目录[%s], %s"
,
virtualPath
,
err
)
continue
exist
,
folder
:=
fs
.
IsPathExist
(
virtualPath
)
if
exist
{
parentFolder
=
folder
}
else
{
folder
,
err
:=
fs
.
CreateDirectory
(
context
.
Background
(),
virtualPath
)
if
err
!=
nil
{
util
.
Log
()
.
Warning
(
"导入任务无法创建用户目录[%s], %s"
,
virtualPath
,
err
)
continue
}
parentFolder
=
folder
}
parentFolder
=
folder
}
// 插入文件记录
...
...
pkg/task/import_test.go
浏览文件 @
52c2422b
...
...
@@ -142,6 +142,8 @@ func TestImportTask_Do(t *testing.T) {
mock
.
ExpectCommit
()
// 查找父目录,但是不存在
mock
.
ExpectQuery
(
"SELECT(.+)folders"
)
.
WillReturnRows
(
sqlmock
.
NewRows
([]
string
{
"id"
}))
// 仍然不存在
mock
.
ExpectQuery
(
"SELECT(.+)folders"
)
.
WillReturnRows
(
sqlmock
.
NewRows
([]
string
{
"id"
}))
// 创建文件时查找父目录,仍然不存在
mock
.
ExpectQuery
(
"SELECT(.+)folders"
)
.
WillReturnRows
(
sqlmock
.
NewRows
([]
string
{
"id"
}))
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录