未验证 提交 87f50717 编写于 作者: W Wang Guibao 提交者: GitHub

Update PROFILING_CUBE.md

上级 1352606a
...@@ -40,7 +40,7 @@ I1014 12:57:20.699692 38 ctr_prediction_op.cpp:169] Average 1.12746us/key ...@@ -40,7 +40,7 @@ I1014 12:57:20.699692 38 ctr_prediction_op.cpp:169] Average 1.12746us/key
假设Paddle Serving所在云服务器上CPU核数为4,则Paddle Serving本身默认会启动4个worker线程。在client端发送4个并发情况下,Serving端约为占满4个CPU核。但由于Serving又要启动新的channel/thread来访问cube(采用的是异步模式),这些和Serving本身的server端代码共用bthread资源,因此就会出现竞争的情况。 假设Paddle Serving所在云服务器上CPU核数为4,则Paddle Serving本身默认会启动4个worker线程。在client端发送4个并发情况下,Serving端约为占满4个CPU核。但由于Serving又要启动新的channel/thread来访问cube(采用的是异步模式),这些和Serving本身的server端代码共用bthread资源,因此就会出现竞争的情况。
以下是在Serving端不同并发请求数时,访问cube的平均响应时间 以下是在Serving端不同并发请求数时,访问cube的平均响应时间 (1000key/req,分片数=1)
线程数 | 访问cube的平均响应时间 (us) 线程数 | 访问cube的平均响应时间 (us)
-------|------- -------|-------
...@@ -54,7 +54,7 @@ I1014 12:57:20.699692 38 ctr_prediction_op.cpp:169] Average 1.12746us/key ...@@ -54,7 +54,7 @@ I1014 12:57:20.699692 38 ctr_prediction_op.cpp:169] Average 1.12746us/key
假设分片数为N,每次cube访问,都会生成N个channel,每个来对应一个分片的请求,这些channel和Serving内其他工作线程共用bthread资源。 假设分片数为N,每次cube访问,都会生成N个channel,每个来对应一个分片的请求,这些channel和Serving内其他工作线程共用bthread资源。
以下是同一份词典分成1个分片和2个分片,serving端访问cube的平均响应时间 以下是同一份词典分成1个分片和2个分片,serving端访问cube的平均响应时间 (1300key/req)
分片数 | 访问cube的平均响应时间 (us) 分片数 | 访问cube的平均响应时间 (us)
-------|-------------------------- -------|--------------------------
...@@ -63,7 +63,7 @@ I1014 12:57:20.699692 38 ctr_prediction_op.cpp:169] Average 1.12746us/key ...@@ -63,7 +63,7 @@ I1014 12:57:20.699692 38 ctr_prediction_op.cpp:169] Average 1.12746us/key
3) 网络环境 3) 网络环境
百度云平台上机器间ping的时延平均为0.3ms - 0.5ms,在batch为1300个key时,平均响应时间为1450us 百度云平台上机器间ping的时延平均为0.3ms - 0.5ms,在batch为1000个key时,平均响应时间为1450us
Paddle Serving发布的[cube社区版本性能报告](https://github.com/PaddlePaddle/Serving/blob/develop/cube/doc/performance.md)中给出的机器间ping时延为0.06ms,在batch为1000个key时,平均响应时间为675us/req Paddle Serving发布的[cube社区版本性能报告](https://github.com/PaddlePaddle/Serving/blob/develop/cube/doc/performance.md)中给出的机器间ping时延为0.06ms,在batch为1000个key时,平均响应时间为675us/req
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册