Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
亦蔚然
Project Crawler Elasticsearch
提交
76f28cd4
P
Project Crawler Elasticsearch
项目概览
亦蔚然
/
Project Crawler Elasticsearch
通知
4
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
DevOps
流水线
流水线任务
计划
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
Project Crawler Elasticsearch
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
DevOps
DevOps
流水线
流水线任务
计划
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
流水线任务
提交
Issue看板
前往新版Gitcode,体验更适合开发者的 AI 搜索 >>
提交
76f28cd4
编写于
5月 22, 2021
作者:
亦蔚然
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
将重复的部分抽取为一个方法
上级
b82ed3c3
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
21 addition
and
19 deletion
+21
-19
src/main/java/com/github/weiranyi/Main.java
src/main/java/com/github/weiranyi/Main.java
+21
-19
未找到文件。
src/main/java/com/github/weiranyi/Main.java
浏览文件 @
76f28cd4
...
...
@@ -19,28 +19,13 @@ import java.util.Set;
public
class
Main
{
public
static
void
main
(
String
[]
args
)
throws
IOException
,
SQLException
{
// 【待处理】存放待处理的链接的池子
List
<
String
>
linkPool
=
new
ArrayList
<>();
// 创建一个数据库链接
Connection
connection
=
connection
=
DriverManager
.
getConnection
(
"jdbc:h2:file:/Users/yiweiran/Documents/workPlace/java/JavaProject-Crawler-Elasticsearch/news"
,
"root"
,
"123456"
);
try
(
PreparedStatement
statement
=
connection
.
prepareStatement
(
"select link from LINKS_TO_BE_PROCESSED;"
))
{
// 从数据库加载即将处理的代码
ResultSet
resultSet
=
statement
.
executeQuery
();
while
(
resultSet
.
next
())
{
linkPool
.
add
(
resultSet
.
getString
(
1
));
}
}
// 【待处理】存放待处理的链接的池子
List
<
String
>
linkPool
=
loadUrlsFromDatabase
(
connection
,
"select link from LINKS_TO_BE_PROCESSED;"
);
// 【已处理】存放已经处理的链接
Set
<
String
>
processedLinks
=
new
HashSet
<>();
try
(
PreparedStatement
statement
=
connection
.
prepareStatement
(
"select link from LINKS_ALREADY_PROCESSED;"
))
{
// 从数据库加载即将处理的代码
ResultSet
resultSet
=
statement
.
executeQuery
();
while
(
resultSet
.
next
())
{
linkPool
.
add
(
resultSet
.
getString
(
1
));
}
}
// 添加一个链接到池中
linkPool
.
add
(
"https://sina.cn"
);
Set
<
String
>
processedLinks
=
new
HashSet
<>(
loadUrlsFromDatabase
(
connection
,
"select link from LINKS_ALREADY_PROCESSED;"
));
while
(
true
)
{
// 链接池是空的就退出循环
if
(
linkPool
.
isEmpty
())
{
...
...
@@ -69,6 +54,23 @@ public class Main {
continue
;
}
}
}
/*
* 3、重构对数据库操作部分的代码
*
*/
private
static
List
<
String
>
loadUrlsFromDatabase
(
Connection
connection
,
String
sql
)
throws
SQLException
{
List
<
String
>
results
=
new
ArrayList
<>();
try
(
PreparedStatement
statement
=
connection
.
prepareStatement
(
sql
))
{
// 从数据库加载即将处理的代码
ResultSet
resultSet
=
statement
.
executeQuery
();
while
(
resultSet
.
next
())
{
results
.
add
(
resultSet
.
getString
(
1
));
}
}
return
results
;
}
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录