AI 芯片也被称为 AI 加速器或计算卡，即专门用于处理人工智能应用中的大量计算任务的模块(其他非计算任务仍由CPU负责)，目前业内将 AI 芯片分为 GPU 、FPGA 、ASIC。

　　AI 的许多数据处理涉及矩阵乘法和加法，大量并行工作的 GPU 提供了一种廉价的方法，但缺点是更高的功率。具有内置 DSP 模块和本地存储器的 FPGA 更节能，但它们通常更昂贵。

　　业内对于 AI 芯片的实现方式和原理仍众说纷纭，这是新技术的特点，探索阶段百花齐放，这也与深度学习等算法模型的研发并未成熟有关，换句话说也就是 AI 的基础理论方面仍然存在很大空白，所以在集中在如何更好的适应已有的数据流式处理模式进行的芯片优化设计。

　　技术手段方面 AI 市场的第一颗芯片包括现成的 CPU，GPU，FPGA 以及 DSP 的各种组合。虽然新设计正在由英特尔、谷歌、英伟达、高通，以及 IBM 等公司开发，但还不清楚哪家的方法会更有优势。

　　据悉，英伟达在使用大量数据训练 AI 模型方面占据主导地位，但在这些 AI 模型经过训练后，它们会被更广泛地用于所谓的智能逻辑推理，执行生成对提示的文本响应以及判断图像等任务。

　　业内的一些分析师认为，随着企业将 AI 技术应用到他们的产品中，数据中心推理芯片市场将快速增长，但谷歌等公司已经在探索如何控制这样做会增加的额外成本。其中一项主要成本是电费，高通公司利用其为智能手机等电池供电设备设计芯片的历史，打造了一款名为 Cloud AI 100 的芯片主打降低功耗。

　　在维护 AI 芯片行业广泛使用的测试基准的工程联盟 MLCommons 周三发布的测试数据中，高通的 AI 100 在图像分类方面击败了英伟达的旗舰 H100 芯片，基于每个芯片单位功率可以运行多少数据中心服务器查询。

　　高通公司的芯片达到 197.6 个服务器查询/瓦，而英伟达达到 108.4 个查询/瓦，令人意外的是，由资深台湾芯片学者林永龙创立的初创公司 Neuchips 以 227 次查询/瓦位居榜首。

　　高通还在对象检测方面击败了英伟达，得分为 3.2 个查询/瓦，而英伟达的每瓦查询为 2.4 个，对象检测可用于分析零售店镜头等应用，以查看购物者最常去的地方。然而在自然语言处理测试中，英伟达在绝对性能和能效方面均名列前茅，这是聊天机器人等系统中使用最广泛的 AI 技术。英伟达达到每瓦 10.8 个样本，而 Neuchips 以每瓦 8.9 个样本排名第二，高通以每瓦 7.5 个样本位居第三。