在windows和linux上玩转Tensorrt

2023-09-21 17:32:39

为避免重复,一些安装内容我直接贴其他大佬的帖子了,我是按照他们的步骤来操作的,趟过一遍,没有问题。
本篇着重在tensort在Cmakelist中如何配置,以及如何配置编译动/静态库,比较基础,也是想做个笔记记录一下。


一、环境

  • windows
    1. windows11
    2. cuda:11.8
    3. cudnn:8(注意和cuda配套)
    4. tensorrt:8.6.1.6
  • linux
    1. ubuntu18.04 x86
    2. cuda: 11.4
    3. cudnn: 8
    4. tensorrt:8.6.1.6

二、安装cuda和cudnn

linux可以参考:ubunu安装cuda

三、安装tensorrt以及配置

均可以参考:https://blog.csdn.net/djstavaV/article/details/125195569

四、CMakeLists如何配置tensorrt以及坑

这里的场景是这样的,有两个工程,A工程来调用B工程,B工程中包含tensorrt的推理操作依赖tensorrt,那么这就需要把B工程打包成库文件,关于Cmakelist详细指导可以跳转到如何在CMakelist中配置,这里编译成库文件,在Cmakelist中,需要把

add_executable(${PROJECT_NAME} ${SOURCE_FILES})

改成

add_library(${PROJECT_NAME} STATIC ${SOURCE_FILES}) 

注意: 这里一定要用静态库,不然会报这个错误:

ERROR: 1: [dispatchStubs.cpp::deserializeEngine::14] Error Code 1: Internal Error (Unexpected call to stub)

查询资料参考:https://github.com/NVIDIA/TensorRT/issues/3307

然后要注意顺序:

include_directories -> link_directories -> add_library -> target_link_libraries -> install

对了,这里最后一步最好install一下,可以加入到系统路径/usr/local/lib/中。可参考:

install(TARGETS ${PROJECT_NAME} LIBRARY DESTINATION /usr/local/lib/)

其他的,target_link_libraries把tensorrt依赖的库文件放入即可,包括cuda的,这里也举例:

target_link_libraries(${PROJECT_NAME}  cublas cudart cudadevrt nvinfer nvinfer_dispatch nvinfer_lean nvinfer_plugin nvinfer_vc_plugin nvonnxparser nvparsers)

然后include_directorieslink_directories分别放入cuda和tensorrt的include文件和lib文件即可。
注意: include、lib和链接库一定要加,不然会出现以下问题:

cmakelist  /usr/bin/ld: cannot find -lcublas
  • 小抄
    1. add_executable 用来生成可执行文件;
    2. add_library 用来生成库文件,其中的关键字SHAREDSTATIC又分别代表动态库和静态库。

以上就是全部内容,有什么问题可以评论,一起交流 ,Enjoy~

更多推荐

Vue2组件通信 - dispatch 和 broadcast

目录8,dispatch和broadcast整体思路实现dispatch使用举例broadcast使用举例承接文章Vue2中10种组件通信方式和实践技巧,因为一篇文章太长无法发表,所以做拆分。8,dispatch和broadcast在Vue@1版本中,有$dispatch和$broadcast这种基于组件树的工作流来通

C++关键词探索:理解变量、函数参数、函数返回值以及类成员函数的修饰符

在C++编程中,我们经常会遇到一些关键词,它们可以用来修饰变量、函数参数、函数返回值以及类的成员函数。这些关键词包括const、static、volatile、mutable、signed、unsigned、long、short、virtual、explicit、inline和friend。让我们一起来深入理解一下这些

基于SSM的高校教学业绩信息管理系统设计与实现

末尾获取源码开发语言:JavaJava开发工具:JDK1.8后端框架:SSM前端:采用JSP技术开发数据库:MySQL5.7和Navicat管理工具结合服务器:Tomcat8.5开发软件:IDEA/Eclipse是否Maven项目:是目录一、项目简介二、系统功能三、系统项目截图​编辑四、核心代码登录相关文件上传封装五、

Vue路由及Node.js环境搭建

1.介绍什么是Vue.js和Node.js?Vue.js和Node.js是两个不同的技术,分别用于前端和后端开发,具有不同的用途和功能:Vue.js:Vue.js是一款流行的前端JavaScript框架,也被称为渐进式框架。它由尤雨溪开发,并由社区支持和维护。Vue.js主要用于构建现代、交互式的Web用户界面。它的核

React中组件通信02——消息订阅与发布、取消订阅以及卸载组件时取消订阅

React中组件通信02——消息订阅与发布、取消订阅以及卸载组件时取消订阅1.前言1.1使用props通信1.2关于useEffect2.安装pubsub-js3.消息订阅与发布3.1简单例子-13.2简单例子-2(完善、优化)——订阅消息+使用消息4.取消订阅4.1取消单个topic4.2取消多个或更多语法4.3卸载

LeetCode 面试题 04.09. 二叉搜索树序列

文章目录一、题目二、C#题解一、题目从左向右遍历一个数组,通过不断将其中的元素插入树中可以逐步地生成一棵二叉搜索树。给定一个由不同节点组成的二叉搜索树root,输出所有可能生成此树的数组。点击此处跳转题目。示例1:输入:root=[2,1,3]输出:[[2,1,3],[2,3,1]]解释:数组[2,1,3]、[2,3,

macOS 12 Monterey:一次全新的跨设备协作体验

macOS12Monterey是苹果公司的一次重大突破,它打破了设备间的壁垒,将不同设备无缝地连接在一起,极大地提升了用户的工作效率和娱乐体验。Monterey带来了通用控制、AirPlay、捷径等新功能,以及一些实用的新小功能。安装:macOS12Montereyv12.6.9正式版功能特点通用控制macOS12Mo

会“穿墙术”的神奇材料 ——超固体

超固体(supersolid)是一种具备超流特性的固体,也就是集“超流体+固体”特性于一身的物质。简单来说就是超固体既有晶体态中原子规则排布的特征,又可以像超流体一样无摩擦流动。在凝聚态物理学中,超固体是具有超流体特性的空间有序材料。超固体是一种晶体材料,其原子排列结构规则且重复,也能够永远流动而不损失任何动能。尽管它

SpringMVC之自定义注解

目录一、Java注解1.1注解简介1.2注解分类1.3JDK基本注解1.4JDK元注解1.5自定义注解1.5.1标记注解1.5.2元数据注解1.6如何自定义注解二、自定义注解的基本案例2.1案例一(获取类、方法以及属性上的注解)2.1.1@Ingerited的使用2.2案例二(获取类属性上的注解属性值)2.3案例三(获

全球变暖问题(floodfill 处理联通块问题)

全球变暖问题文章目录全球变暖问题前言题目描述题目分析边界问题的考虑岛屿是否被淹没判断:如何寻找联通块:代码预告前言之前我们介绍了bfs算法在二维,三维地图中的应用,现在我们接续进行拓展,解锁floodfill算法,准确的来说是用bfs算法解决联通块问题。后续还会更新bfs算法有关内容,喜欢的小伙伴可以点个关注啦。题目描

数据结构和算法之快速排序

快速排序是一种基于分治法的排序算法。它通过不断地将数组分成较小的子数组,并按照递归的方式对每个子数组进行排序,最终将整个数组排序。#mermaid-svg-Za26UnuASULzGzsM{font-family:"trebuchetms",verdana,arial,sans-serif;font-size:16px

热文推荐