Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
智布道
OneBlog
提交
d60e942b
O
OneBlog
项目概览
智布道
/
OneBlog
9 个月 前同步成功
通知
11
Star
2
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
DevOps
流水线
流水线任务
计划
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
O
OneBlog
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
DevOps
DevOps
流水线
流水线任务
计划
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
流水线任务
提交
Issue看板
前往新版Gitcode,体验更适合开发者的 AI 搜索 >>
未验证
提交
d60e942b
编写于
6月 29, 2019
作者:
智布道
👁
提交者:
GitHub
6月 29, 2019
浏览文件
操作
浏览文件
下载
差异文件
Merge pull request #12 from iNetty/master
增加已知爬虫
上级
91927942
3dab8499
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
14 addition
and
0 deletion
+14
-0
blog-core/src/main/java/com/zyd/blog/business/util/WebSpiderUtils.java
.../main/java/com/zyd/blog/business/util/WebSpiderUtils.java
+14
-0
未找到文件。
blog-core/src/main/java/com/zyd/blog/business/util/WebSpiderUtils.java
浏览文件 @
d60e942b
...
...
@@ -109,6 +109,20 @@ public class WebSpiderUtils {
spider
.
put
(
"WinHTTP"
,
"WinHTTP"
);
spider
.
put
(
"WordPress"
,
"WordPress"
);
spider
.
put
(
"Xenu Link Sleuth"
,
"死链接检测工具"
);
spider
.
put
(
"BLEXBot"
,
"BLEXBot"
);
spider
.
put
(
"DoCoMo"
,
"DoCoMo"
);
spider
.
put
(
"Exabot"
,
"Exabot"
);
spider
.
put
(
"Spinn3r"
,
"Spinn3r"
);
spider
.
put
(
"DotBot"
,
"DotBot"
);
spider
.
put
(
"psbot"
,
"psbot"
);
spider
.
put
(
"360spider"
,
"360spider"
);
spider
.
put
(
"curl"
,
"curl"
);
spider
.
put
(
"MJ12bot"
,
"MJ12bot"
);
spider
.
put
(
"Nimbostratus-Bot"
,
"Nimbostratus-Bot"
);
spider
.
put
(
"Applebot"
,
"Applebot"
);
spider
.
put
(
"CCBot"
,
"CCBot"
);
spider
.
put
(
"Pandalytics"
,
"Pandalytics"
);
operations
.
set
(
KEY
,
spider
,
7
,
TimeUnit
.
DAYS
);
return
spider
;
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录