ARM CPU: - 增加 64 位 gemm_int8 量化实现 - 增加 conv_relu、nearestinterp、leakyrelu、density_prior_box 等 op

Android GPU: - 实现 Winograd 卷积实现,3 x 3 卷积在计算量较大时,性能提升2倍—30倍不等 - 增加 conv_relu、scale、reshape2、transpose2、split、relu6 等 GPU op - cl_kernel文件编译,不同op动态添加宏控制

Metal: - 支持WinoGrad算法。 - 添加内存复用算法,材质占用的内存体积可减少一半。 - 支持MPS及非MPS混排。 - 增强框架安全性(添加通用异常处理逻辑、添加多线程保护)。 - 新增OP,支持ShuffleNet。

Web 网页版: - 建立Web版Paddle框架,支持MobileNet、Yolo等网络。 - 基于WebGL提供完整的GPGPU功能。

发布 Lite 新架构,整体加强 Paddle 预测库底层硬件的多硬件混合调度, 硬件开发扩展能力,设计要点如下

  • 引入 Type system,强化多硬件、量化方法、data layout 的混合调度能力
  • 硬件细节隔离,通过不同编译开关,对支持的任何硬件可以自由插拔
  • 引入 MIR(Machine IR) 的概念,强化带执行环境下的优化支持
  • 优化期和执行期严格隔离,保证预测时轻量和高效率

本次发布支持如下硬件:

  • android ARM v7, v8; 内部测试包括 mobilenet-v1, movilenet-v2, resnet50, inception-v4 等模型
  • armlinux 支持 ARM V8,支持如上4个模型
  • opencl; 测试 mobilenetv1
  • ARM v7, v8; Int8 量化预测; 测试 mobilenet-v1

用户文档参考 lite 文档

开发者文档参考: 开发者文档

性能参数参考:Benchmark

代码 tag 位于:lite-v0.1

预编译的预测库:

项目简介

Multi-platform high performance deep learning inference engine (『飞桨』多平台高性能深度学习预测引擎)

发行版本 20

v2.7-beta

全部发行版

贡献者 87

全部贡献者

开发语言

  • C++ 82.3 %
  • Swift 4.1 %
  • CMake 3.0 %
  • Metal 2.6 %
  • C 2.3 %