在线时间:8:00-16:00
迪恩网络APP
随时随地掌握行业动态
扫描二维码
关注迪恩网络微信公众号
开源软件名称:Forward开源软件地址:https://gitee.com/mirrors_Tencent/Forward开源软件介绍:Forward 深度学习推理加速框架什么是 ForwardForward 是一款腾讯研发的 GPU 高性能推理加速框架。它提出了一种解析方案,可直接加载主流框架模型(Tensorflow / PyTorch / Keras / ONNX)转换成 TensorRT 推理加速引擎,帮助用户节省中间繁杂的模型转换或网络构建步骤。相对于直接使用 TensorRT,Forward 更易用以及更容易扩展支持更多模型和算子。目前,Forward 除了覆盖支持主流的 CV,NLP 及推荐领域的深度学习模型外,还支持一些诸如 BERT,FaceSwap,StyleTransfer 这类高级模型。 为什么选择 Forward
快速上手 Forward环境依赖
项目构建使用 CMake 进行构建生成 Makefiles 或者 Visual Studio 项目。根据使用目的,Forward 可构建成适用于不同框架的库,如 Fwd-Torch、Fwd-Python-Torch、Fwd-Tf、Fwd-Python-Tf、Fwd-Keras、Fwd-Python-Keras、Fwd-Onnx 和 Fwd-Python-Onnx。 以 Linux 平台构建 Fwd-Tf 为例, 步骤一:克隆项目 1 git clone https://github.com/Tencent/Forward.git 步骤二:下载 1 cd Forward/source/third_party/tensorflow/2 wget https://github.com/neargye-forks/tensorflow/releases/download/v1.15.0/libtensorflow-cpu-linux-x86_64-1.15.0.tar.gz3 tar -xvf libtensorflow-gpu-linux-x86_64-1.15.0.tar.gz 步骤三:创建 1 cd ~/Forward/2 rm -rf build3 mkdir -p build4 cd build/ 步骤四:使用 1 cmake .. -DTensorRT_ROOT=<path_to_TensorRT> -DENABLE_TENSORFLOW=ON -DENABLE_UNIT_TESTS=ON 步骤五:使用 1 make -j 步骤六:运行 cd bin/./unit_test --gtest_filter=TestTfNodes.*# 出现已下提示表示项目构建成# [ OK ] TestTfNodes.ZeroPadding (347 ms)# [----------] 22 tests from TestTfNodes (17555 ms total)# [----------] Global test environment tear-down# [==========] 22 tests from 1 test case ran. (17555 ms total)# [ PASSED ] 22 tests. 更多构建流程可参考 CMake 构建流程 。 Forward-Cpp 使用参考 Demo for using Forward-Cpp in Linux Forward-Python 使用参考 Demo for using Forward-Python Forward-Bert 使用Refer to Demo for using Forward-Bert 更多使用方法注意: 模型输入名可通过模型查看器来查看, 例如用 Netron 查看。 Logging 日志Forward 使用 easylogging++ 作为日志功能,并使用
* GLOBAL: FORMAT = "[%level] %datetime %fbase(%line): %msg" FILENAME = "Forward.log" ENABLED = true TO_FILE = true TO_STANDARD_OUTPUT = true PERFORMANCE_TRACKING = true MAX_LOG_FILE_SIZE = 2097152 ## 2MB - Comment starts with two hashes (##) LOG_FLUSH_THRESHOLD = 100 ## Flush after every 100 logs 模型和算子支持当前 Forward 的模型与算子支持如下所示,如有需要添加更多支持的,欢迎联系添加 Issue 反馈。如需要自行扩展添加支持的,可参考 开源共建:扩展添加支持操作的流程 模型算子参考资料贡献
感谢所有贡献者,欢迎更多人加入一起贡献。 许可证详情见 LISENCE |
请发表评论