推理是指利用训练好的模型，使用新数据推理出各种结论。借助神经网络模型进行运算，利用输入的新数据来一次性获得正确结论的过程。这也有叫做预测或推断。
训练是指通过大数据训练出一个复杂的神经网络模型，通过大量标记过的数据来训练相应的系统，使其能够适应特定的功能。训练需要较高的计算性能、能够处理海量的数据、具有一定的通用性，以便完成各种各样的学习任务。
所以根据承担任务的不同，AI芯片可以分为两类，它们分别是训练AI芯片和推理AI芯片。
1、训练芯片：用于构建神经网络模型，注重绝对的计算能力;
2、推理芯片：利用神经网络模型进行推理预测，注重综合指标，单位能耗算力、时延、成本等都要考虑。
云端，即数据中心，在深度学习的训练阶段需要庞大的数据量，以及大运算量，单一处理器是无法独立完成的，因此训练环节仅能够在云端实现。
终端，即手机、汽车、智能家居以及各种物联网设备等执行边缘计算的智能设备。终端的数量庞大，并且需求的差异性明显。
训练推理的完成目前主要集中在云端，但随着越来越多芯片厂商的努力，很多的应用将逐渐转移到终端。
所以，根据部署位置，推理AI芯片又可细分为云端推理AI芯片和终端推理AI芯片：
1、云端推理
云端推理AI芯片可作为深度学习推理加速的协处理器，也可作为主处理器从以太网接口或USB接口接收视频流、图片或其它数据，执行推理和其他计算机视觉任务。目前，除了英伟达、谷歌、赛灵思、英特尔等这些国外芯片大厂涉足云端推理芯片外，寒武纪、比特大陆等中国企业同样积极布局该领域。
2、终端推理
目前，终端推理AI芯片主要应用于智能手机、自动驾驶、机器人、智能家居等设备。它可作为深度学习推理加速的协处理器，还可以作为主处理器从以太网接口或USB接口接收视频流、图片或其它数据，执行推理和其他计算机视觉任务。目前，除了英伟达、谷歌、赛灵思、英特尔等这些国外芯片大厂涉足云端推理芯片外，寒武纪、比特大陆等中国企业也在领域进行积极的布局，并取得了不俗的成绩。
©2023深圳拓普龙科技有限公司 版权所有 粤ICP备09130463号-1
13008895219 产品经理
19924502528 何经理
13378406071 李工
13008895219 雷先生
微信公众号
