哈佛最新开源:147万份百年报纸,榨出163亿token公共数据集
这可能是今年最"考古"的AI基础设施工作:哈佛联手波士顿公共图书馆,把1795到1930年的147万份报纸扫描件,变成163亿token的干净文本。更难得的是,整套流水线设计成工作站级硬件就能跑,租服务器全程只要约2.5万美元——相比云端OCR动辄几十万美元的报价,这性价比简直离谱。对做数据工程、LLM预训练和数字人文的人来说,这篇值得细读。
LONGGE AI RESEARCH DAILY
每天筛选值得关注的 AI 论文,用工程视角拆解方法、实验和真正的落地价值。
目前已发表 1811 篇文章
这可能是今年最"考古"的AI基础设施工作:哈佛联手波士顿公共图书馆,把1795到1930年的147万份报纸扫描件,变成163亿token的干净文本。更难得的是,整套流水线设计成工作站级硬件就能跑,租服务器全程只要约2.5万美元——相比云端OCR动辄几十万美元的报价,这性价比简直离谱。对做数据工程、LLM预训练和数字人文的人来说,这篇值得细读。
人类觉得"闭着眼都能做"的插拔动作,对机器人来说,却是灵巧操作领域最硬的骨头之一。尤其是当机器人换上一只仿人五指手,光是"让五根手指协调起来把东西捏稳、转正、再对准插进去"这一套动作,就足够让无数强化学习训练曲线原地去世。
世界模型和Q学习还能这么玩?斯坦福北大团队提出的QWM,把世界模型当成“预言家”,只做测试时搜索,不让模型误差污染训练,操作成功率全面飙升。继7月末聊过ActSWM这类JEPA世界模型的规划玩法后,本期这篇把Q学习和世界模型的结合推到了一个新高度。
3DGS资产正在被“拆零件拼装”式盗用,而现有的渲染级水印在这种局部侵权下几乎集体失灵。浙大这篇NGS-Marker直接对高斯原语下手,任意抠一块都能验明正身,局部侵权场景下解码准确率冲到99%以上,是3D资产版权保护里少见的真痛点工作。
传感器掉线、字幕丢失、画面损坏……LVLM一遇模态缺失就肉眼可见地“降智”。这篇TTSD-FAR偏偏只更新0.629%的参数,就把50%文本缺失下的F1从趴窝的0.4785拉回0.5124,还顺手解决了持续适应的漂移问题。方法不算复杂,思路非常实用,值得所有做多模态落地的朋友读一读。
一张照片拍完就定型了?南京大学最新研究告诉你:换视角、拉焦距、调色温、改曝光,一张图就能“重拍”出各种效果,还跟真重新拍过一样。首个统一框架ReX-Shot,直接把单图三要素控制一次搞定。
学习型图像压缩(LIC)性能虽猛,却怕对抗攻击——像素上加点人眼看不见的噪声,码率直接爆炸、画质稀碎。这篇澳门大学与南洋理工的最新研究发现了个反直觉的规律:攻破LIC要几百步,修复却只要1步!基于此提出的FTTR框架,在白盒攻击下把PSNR拉高近15dB,码率暴降6+。值得一读。
如果说机械臂是机器人的“手臂”,那灵巧手就是它的“指尖”——能抓鸡蛋、玩叠叠乐、拧瓶盖的那种指尖。但灵巧操作一直是机器人领域的老大难问题:机械臂在工厂里已经干了几十年活了,灵巧手却还在实验室里“装婴儿”。为啥?
CFG的八种免训练替代方法,真的比原版CFG更香吗?这篇论文在统一协议下,用组合对齐基准在SD3.5 Medium和FLUX.2 klein上实测,结论相当扎心:没有一个方法能全面胜出,CFG依然是性价比之王。想知道哪些方法在哪些指标上偷偷涨了点?这篇评测给你答案。
当大模型学会“思考”后,机器人也该学学“先想后做”了。本论文把大模型里的测试时计算扩展到了机器人子任务规划中,用世界模型预测、价值模型评分、束搜索择优,让机器人在面对长时程任务时不再“走一步算一步”。四项真实世界长时程任务平均成功率45%,值得所有做机器人决策的朋友读一读。
视频模型看懂动作却丢了空间结构,图像模型擅长几何却不懂运动——DeepMind用一套循环掩码自编码器RVM把两边的好处全占了,只靠像素重构损失,小模型还不需要蒸馏,参数效率最高领先30倍。这事儿有点意思,值得花三分钟读一读。
斯坦福Chelsea Finn团队的新作。机器人操作策略学会了但跑得慢,这工作直接给模仿学习加装一个强化学习训练的速度策略,不采新数据、不动原策略,在倒水、投掷等动态任务上提速超2.4倍,思路轻巧、实验扎实,值得一读。
LONGGE AI COMMUNITY
加入「龙哥读论文」知识星球,持续获取 AI 论文、资讯、开源项目、招聘与研究思路。
加入龙哥读论文微信群:添加微信 kangjinlonghelper,备注“研究方向 + 地点 + 学校/公司 + 昵称”。
微信扫码加入知识星球