把大模型"刻进"芯片:Taalas发布AI推理芯片HC1,推理速度达17000 tokens/秒

市场资讯 2026-02-27 10:33:37
10秒看完全文要点
看要点

2026年2月,加拿大多伦多初创公司Taalas正式发布首款AI推理芯片HC1,将大模型权重直接蚀刻到芯片的金属互连层中,实现推理速度达17000 tokens/秒。这一"把大模型刻进芯片"的激进方案,在AI硬件领域引发广泛关注。

Taalas成立于2023年,由Tenstorrent前联合创始人Ljubisa Bajic等人创立,目前已通过三轮融资筹集超过2亿美元。HC1芯片采用台积电6nm工艺和Mask ROM技术,将Llama 3.1 8B模型的权重硬编码在硅片上,从物理层面消除了计算与存储之间的数据搬运。据Taalas公布的数据,HC1的token处理速度约为英伟达B200的48倍,硬件成本仅为传统GPU方案的1/20,功耗降至1/10,且无需液冷和HBM显存,仅靠空气冷却即可运行。

不过,这份极致性能的代价是通用性的完全牺牲——HC1仅能运行特定的Llama 3.1 8B模型,模型一旦更新,芯片就需要重新流片。Taalas宣称能将新模型转化为定制芯片的周期压缩至两个月,但在当前AI模型以月甚至以周为单位迭代的行业节奏下,这一时间差仍是该方案面临的核心挑战。

随着AI发展重心从训练转向推理,定制化AI芯片正"脱颖而出"。Taalas HC1专为Llama 3.1 8B模型优化,采用30芯片集群时可实现每秒12000 tokens的推理速度,较传统GPU方案提升50倍能效。

在AI推理芯片赛道上,Taalas并非唯一的探索者。Etched将Transformer架构固化为ASIC电路,Groq以纯SRAM架构打造LPU,Cerebras则将整块晶圆作为单颗芯片——各家都在通过放弃一传统设计要素,换取推理环节的性能突破。

中信建投研报表示,"AI发展日新月异,大模型持续迭代升级,算力需求非常强劲。大模型的商业变现路径畅通,正在从'低价/免费圈地'阶段走向'为高质量付费'阶段,且带动的算力需求非常旺盛。"

市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。

财经频道更多独家策划、专家专栏,免费查阅>>

金融界提醒:本文内容、数据与工具不构成任何投资建议,仅供参考,不具备任何指导作用。股市有风险,投资需谨慎!
全部评论
谈谈您的想法...
AI解读分析
打开App
推荐 要闻 7x24 理财 财 经 导航