5.5倍吞吐量提升!SK海力士用PNM破解LLM混合长度服务难题
当LLM服务的上下文长度从几百到百万不等时,GPU内存成了最大的短板。SK海力士与KAIST联手拿出硬核方案——NELSSA,把长上下文请求“请”到CXL互联的PNM(近内存处理)芯片上执行,GPU只管短请求和FFN。实测解码吞吐量飙涨5.5倍,P99延迟骤降15倍,而且是在真实硬件上跑出来的!这可能是下一代LLM基础设施的关键拼图。
LONGGE AI RESEARCH DAILY
每天筛选值得关注的 AI 论文,用工程视角拆解方法、实验和真正的落地价值。
目前已发表 1655 篇文章
当LLM服务的上下文长度从几百到百万不等时,GPU内存成了最大的短板。SK海力士与KAIST联手拿出硬核方案——NELSSA,把长上下文请求“请”到CXL互联的PNM(近内存处理)芯片上执行,GPU只管短请求和FFN。实测解码吞吐量飙涨5.5倍,P99延迟骤降15倍,而且是在真实硬件上跑出来的!这可能是下一代LLM基础设施的关键拼图。
长上下文LLM推理中,KV缓存的内存占用一直是瓶颈,现有稀疏KV方法引入的GPU辅助状态反而成了新“内存墙”。这篇来自复旦大学与蚂蚁集团的论文找到了一个很巧妙的突破口:相邻解码步骤的KV索引具有强可预测性,从而可以用预测性预取彻底替换掉GPU驻留的辅助状态。方法设计的双token解码流水线、层感知传输调度和乒乓缓冲区都很实在,在128K上下文下吞吐量提升最高
这篇论文是泛函分析领域的一个重要突破:将Abramovich定理从交换的函数空间推广到非交换的算子空间,同时解决了Veksler关于正等距是否必为保不交映射的长期猜想。对于关注算子代数和非交换几何的研究者,这是2026年最值得深度的理论工作之一。
继2026年6月推过脑机接口与生物启发导航之后,这篇来自杜伦大学&AMOLF的论文直接捅破了窗户纸:细胞导航性能居然只取决于双向信息流的“量”和“速度”,跟具体的感官增益、运动强度等微观参数无关!这在信息生物学里属于教科书级的洞察,而且居然在大肠杆菌实验里零参数预验证了。龙哥看完只有一个字——绝!
为什么神经网络训练到零误差反而更难?这篇论文从统计物理的视角给出了深刻答案——"冻结"的平衡态并非算法友好,而允许训练误差的"宽区域"才是算法可达的关键。它将OGP理论首次延拓到有限温度,证明热噪声不仅能避免过拟合,还能突破计算硬阈值,对理解深度学习的优化困境有重要启示。
继2025年6月推过智能体基准评测之后,龙哥又盯上了智能体自演化的“可靠性”痛点。东南大学这篇DREvo,把历史经验当作“过期货”来查保质期,还能自动提炼出下一步修改方向,五个基准全超之前方法,平均提升16.2%,自我进化终于不再原地打转!
RoPE、2D-RoPE这些位置编码从哪来?这篇论文用一个“构成操作”统一了它们,还理论证明了路径无关的充要条件。基于此设计的JoFormer在值侧也做旋转,ImageNet提了0.4%,长度外推比降到1.02×——对于想理解位置编码本质的读者,这篇是不可错过的代数教科书。
这是纯数学领域一次漂亮的收官之战!持续二十年的“零散群Sylow p-子群上融合系统分类”项目,终于被最后两块硬骨头——Fischer群Fi'24与Monster群的3-子群——画上了句号。更让人拍案的是,作者顺手发明了一个效率相差千倍的算法,让以前想都不敢想的计算变得轻松。群论爱好者可以安心了。
检验统计学家们躺平了几十年,以为弱渐近一致性必然推得出强渐近一致性。今天这篇不到六页的论文告诉你——别做梦了。作者用同步码、慢变马尔可夫链和独立标记过程三者一搅合,干净利落地构造出两个平稳遍历过程族,让弱检验跑得欢,强检验死得透。这不仅是技术活,更是脑洞活。
ISAC是6G通感一体化热点,但嵌入通信数据会严重污染雷达感知。蒙特利尔理工这篇工作巧妙地用概率去噪网络吸收数据引入的旁瓣干扰,让感知几乎不受影响,还附带完整CRLB和BER理论分析。代码已开源,值得关注!
你家娃的鬼画符,数字笔认不出来?别慌,法国IRISA团队找到了一条捷径——域自适应。仅用少量儿童数据,就让原本只懂成人书写的模型,在儿童手写轨迹重建上直接媲美甚至超越从零训练。这篇论文很务实,不光讲算法,还把从理论到实验的每一步都掰开了细说,值得一看。
比特币矿工每天面对海量待确认交易,怎样在依赖关系和费用之间找到最优排序?这不仅仅是性能优化,更关系到区块网络的去中心化。西北大学与Chaincode Labs共同提出SFL(生成树线性化)算法,将经典的数学规划思路落地成可直接在交易依赖图上迭代合并分裂的高效操作。在真实mempool数据上,SFL比传统GGT参数化流方法快2-3倍,且具备了“随时可中断”的a
LONGGE AI COMMUNITY
加入「龙哥读论文」知识星球,持续获取 AI 论文、资讯、开源项目、招聘与研究思路。
加入龙哥读论文微信群:添加微信 kangjinlonghelper,备注“研究方向 + 地点 + 学校/公司 + 昵称”。
微信扫码加入知识星球