焱融科技申请面向检索增强生成的KV缓存选择性重计算方法专利，降低长上下文推理开销

国家知识产权局信息显示，北京焱融科技有限公司、哈尔滨工业大学（深圳）（哈尔滨工业大学深圳科技创新研究院）申请一项名为“面向检索增强生成的KV缓存选择性重计算方法及装置”的专利，公开号CN122570693A，申请日期为2026年6月。

专利摘要显示，本发明公开了一种面向检索增强生成的KV缓存选择性重计算方法及装置，该方法获取与用户查询对应的复用上下文KV缓存，将用户查询的查询token作为注意力查询端，将复用上下文KV缓存对应的上下文对象作为被评估对象，在Transformer模型的多个网络层中计算注意力权重并进行跨层融合，得到上下文对象重要性信息；再根据重要性信息和重计算约束确定待重计算对象集合，基于本次请求上下文执行缓存重计算并更新复用上下文KV缓存，得到更新后缓存；最后基于更新后缓存和用户查询执行解码生成。该方法能够将重计算预算集中于与用户查询相关的关键证据位置，降低长上下文推理开销。

声明：市场有风险，投资需谨慎。本文为AI基于第三方数据生成，仅供参考，不构成个人投资建议。