全球一半以上的推理计算将在他们的芯片上运行

　　全球一半以上的推理计算将在他们的芯片上运行，mt4即时划线由来：实质由半导体行业考查（ID：icbank）编译自venturebeat，感谢。

　　人工智能芯片草创公司Groq的联结创始人乔纳森·罗斯 (Jonathan Ross)昨天告示，其产物的斥地者采用率希望创下汗青新高。该公司正在短短四个月内就吸引了28 万名斥地者列入其平台，罗斯称这一豪举正在硬件行业史无前例。

　　“据咱们所知，就任何斥地者的兴起、任何新硬件平台的采用而言，这简直是最疾的，”罗斯正在领受 VentureBeat 的 Matt Marshall 采访时显露。他增补说，“咱们实践上没思到会这么疾就时兴起来。”

　　Groq 对AI 推理芯片的更始步骤鼓舞了这一火速采用。与古板 GPU 差异，Groq 的架构消逝了外部内存，Ross 声称这是“您告竣推理的真正瓶颈”。

　　罗斯详明发挥了 Groq 处分计划的工夫上风。“遐思一下，倘使你举办 Google 探索，需求 10 秒钟本事取得谜底，”他说。“从心里来说，这只会很悲伤。”这种对照夸大了 Groq 旨正在为 AI 推理带来的速率更正。

　　这家草创公司的爆炸式拉长当今带来了一个差异寻常的挑衅：管造壮大的需求。“咱们的团队就像，咱们有布线团队试图将机架布线起来，这太狂妄了，”罗斯招供，夸大了知足客户需求的急迫性。

　　只管面对扩展挑衅，Groq 仍宽裕诈骗了其成长势头。该公司迩来与首批 50 名客户商道了降低付费费率控造的题目。“我以为正在 36 小时内，抢先 35 家客户订立了一份应许一年的采购订单，”Ross 大白，这远远越过了他们的预期。他增补道，“咱们一天都正在专一于何如尽疾将更众产能参加临蓐。”

　　这家草创公司的野心不单限于火速采用。罗斯提出了一个大胆的标的：“咱们的标的是正在来岁岁尾前占据环球人工智能推理商场的一半份额。”为了告竣这一标的，Groq 谋略安插 170 万个体工智能处分器。“这相当于 Nvidia 客岁安插的 3 倍，”罗斯声称，直接向行业指点者首倡挑衅。

　　行业阐发师以为，斥地职员的火速采用是商场兴会和 AI 芯片范畴潜正在推倒的有力目标，只管这并不行担保永远告成。AI 行业亲密眷注 Groq 知足需求的步骤。

　　罗斯正在谷歌作事岁月的资历，曾掌握 TPU（张量处分单位）的斥地，这为 Groq 的步骤供给了模仿。“咱们指望确保全天下都能利用人工智能，”他阐明说，并将自身正在谷歌的作事与 Groq 的任务举办了对照。

　　倘使这家草创公司维系拉长轨迹并兑现功能应许，它或许会重塑 AI 推理硬件的体例，并挑衅 Nvidia 等老牌公司。Ross 夸大了他们的工夫上风的厉重性：“就像你不思利用 CPU 来运转这些模子雷同，倘使你有 LPU，你也不会思利用 GPU。”

　　跟着 Groq 加快推广临蓐范畴，罗斯暗指了改日的挑衅和机缘。“重要的区别正在于，这全体的灵感来自于谷歌的履历，当咱们举办探索时，并不是唯有一台任事器反响盘问，”他说道，阐明了 Groq 的散布式步骤与古板步骤的差异之处。

　　依靠史无前例的拉长和野心勃勃的谋略，Groq 将自身定位为 AI 芯片商场的潜正在推倒者。跟着该公司勤劳知足一贯拉长的需求并兑现应许，科技行业亲密眷注这家草创公司是否或许真正挑衅该范畴的老牌巨头。

　　Groq当今许诺您直接正在其网站上利用领先的大型说话模子 (LLM) 举办闪电般火速的盘问并实践其他做事。

　　该公司上周寂静推出了这项效用。结果比该公司之前演示的要疾得众，也更智能。它不单许诺您键入盘问，还许诺您利用语音下令说出盘问。

　　正在我举办的测试中，Groq 的反响速率约为每秒 1256.54 个token，Groq 显露，这一速率简直是即时的，而 Nvidia 等公司的 GPU 芯片无法做到这一点。这一速率比 Groq正在 4 月份映现的每秒 800 个token的速率更高，这一经令人印象深远。

　　这回体验道理庞大，由于它向斥地职员和非斥地职员映现了 LLM 闲聊呆板人的速率和灵动性。Groq 的首席实践官乔纳森·罗斯 (Jonathan Ross) 显露，一朝人们看到正在 Groq 的火速引擎上利用 LLM 是何等容易，LLM 的利用率将进一步填补。比如，演示供给了正在此速率下可能轻松告竣的其他做事的概览，比如天生雇用讯息或著作并即时更改它们。

　　Groq 之因而受到眷注，是由于它应许或许比竞赛敌手更疾、更经济地告竣 AI 做事，该公司显露，这是由于其说话处分单位 (LPU) 正在实践此类做事时比 GPU 功效高得众，局部源由是 LPU 以线性体例运转。固然 GPU 看待模子演练很厉重，但正在实践安插 AI 操纵标准时（“推理”是指模子选取的操作），它们需求更高的功效和更少的延迟。

　　罗斯告诉 VentureBeat，到目前为止，Groq 已免费供给任事来支柱 LLM 作事负载，而且取得了豪爽斥地职员的支柱，目前已抢先 282,000 名斥地职员。Groq 于 16 周前推出了这项任事。

　　Groq为斥地职员供给了一个限度台来构修他们的操纵标准，好似于其他推理供给商供给的任事。但值得谨慎的是，Groq 许诺正在 OpenAI 上构修操纵标准的斥地职员通过少许轻易的举措正在几秒钟内将他们的操纵标准切换到 Groq。

　　固然您可能向 Groq 引擎输入盘问，但当今您也可能按下麦克风图标后说出盘问。Groq 利用 Whisper Large V3 模子（OpenAI 最新的开源自愿语音识别和语音翻译模子）将您的语音转换为文本。然后将该文本插入为 LLM 的提示。

　　Groq 显露，其工夫正在最差的境况下仅利用 GPU 三分之一的功率，但其大大都作事负载仅利用相等之一的功率。正在这个坊镳 LLM 作事负载悠久不会中断扩展、能源需求只会一贯拉长的天下里，Groq 的功效对 GPU 主导的盘算推算范畴提出了挑衅。

　　毕竟上，Ross 声称，到来岁，环球一半以上的推理盘算推算将正在他们的芯片上运转。

　　*免责声明：本文由作家原创。著作实质系作家个体意睹，半导体行业考查转载仅为了传递一种差异的意睹，不代外半导体行业考查对该意睹赞许或支柱，倘使有任何反驳，接待接洽半导体行业考查。

　　证券之星估值阐发提示长和赢余才干普通，改日营收获长性普通。归纳基础面各维度看，股价合理。更众

　　证券之星估值阐发提示呆板人赢余才干普通，改日营收获长性较差。归纳基础面各维度看，股价偏高。更众

　　以上实质与证券之星态度无闭。证券之星揭晓此实质的目标正在于散布更众讯息，证券之星对其意睹、判别维系中立，不担保该实质（席卷但不限于文字、数据及图外）通盘或者局部实质的精确性、确凿性、完全性、有用性、实时性、原创性等。干系实质错误列位读者组成任何投资倡议，据此操作，危险自担。股市有危险，投资需仔细。如对该实质保存反驳，或浮现违法及不良讯息，请发送邮件至，咱们将调整核实处分。