编辑:KingHZ
【新智元导读】你以为PDF只是用来阅读文档的?这次它彻底颠覆了你的想象!极客Aiden Bai最新整活——直接把大语言模型(LLM)塞进PDF里,打开文件就能让AI讲故事、陪你聊天!更夸张的是,连Linux系统都能在PDF里运行。
技术宅太疯狂!
在PDF中,也能运行LLM。
从PDF里跑出AI大脑?网友惊呼:这操作太「黑科技」了!
最近,Aiden Bai的推文掀起了热议,已有数万浏览!
他展示了一个名为「llm.pdf」的项目,标题赫然写着:「在PDF文件中,运行大语言模型!」
疯狂程度堪比人类穿越进入电子游戏!
更夸张的是,评论区里还有人爆料,连Linux系统都能塞进PDF里运行。
日常办公、「高端爆料」中常见的文件格式——
Portable Document Format(.PDF),还能跑大模型,这到底怎么回事儿?
PDF里藏AI:还能讲故事、聊聊天
「llm.pdf」的项目在PDF里面,嵌入了几个小型语言模型(SLM),比如TinyStories(3M参数)、Pythia(31M参数)和TinyLLM(10M参数)。
这些模型虽然「小巧」,但功能可不简单!
TinyStories:3M参数,运行速度快。号称是最小的能生成连贯文本的语言模型,专门为讲故事设计。想象一下,打开PDF,它给你讲个儿童故事,比如「小红帽大战大灰狼2.0」!
Pythia:31M参数,速度稍慢,支持对话。一个小型对话模型,能与人聊天,比如问它「今天天气怎么样」,它可能会一本正经地回答:「我不知道,但我可以给你讲个下雨天的故事!」
TinyLLM:10M参数,速度快。一个概念验证模型,专注于文本生成,适合做些简单的创作实验。
用户可以直接下载这些已构建好的PDF文件,打开后就能体验AI的「魔法」——直接在PDF里生成文本、讲故事,甚至聊天!
想象一下,你打开一个PDF文件,里面不是枯燥的文档,而是一个能跟你互动的AI小助手,给你讲个睡前故事,或者陪你聊聊今天的趣事。
这种体验是不是有点像科幻电影里的场景?
网友们炸开了锅,有人调侃:「我现在是更怕醒来发现自己被困在PDF里,还是怕变成Fortnite里的联动角色?」
TinyStories:讲睡前故事的最小LLM
「llm.pdf」项目里提到的TinyStories模型,其实背后还有一段有趣的故事。
这个模型基于TinyStories数据集,最早是为了研究小型语言模型的能力。
研究者用GPT-3.5和GPT-4生成了数百万个儿童小故事,内容简单但包含了语法、词汇和推理等语言要素。
词汇简单,3到4岁儿童就能看得懂。
论文链接:https://arxiv.org/abs/2305.07759
Pythia:从实验室到百姓
Pythia旨在研究语言模型的「可解释性」和「学习动态」。
简单来说,他们想搞清楚:AI模型在训练过程中,到底是怎么「学会」语言的?知识又是如何一步步积累的?
论文链接:https://arxiv.org/abs/2304.01373
Pythia项目聚焦于自回归Transformer模型,结合可解释性分析和规模法则(scaling laws),研究模型在训练中的知识演变。
Pythia模型家族包含多个版本,从70M到12B参数不等,而「llm.pdf」里用到的Pythia-31M是其中最小的一个版本。
虽然小,但它继承了Pythia项目的核心优势:高效、透明、适合研究。
多项目研究利用Pythia模型的透明性和可控性,深入探索了语言模型的「黑箱」问题。
而「llm.pdf」项目把Pythia-31M塞进PDF里,也算是让学术成果「飞入寻常百姓家」,从实验室走向了普通用户。
TinyLLM:为边缘设备量身打造
TinyLLM的目标是为边缘设备(比如物联网设备、嵌入式传感器)设计轻量级语言模型,因为这些设备通常计算资源有限,跑不动动辄几十亿参数的大模型。
TinyLLM框架有几个亮点:
轻量高效:TinyLLM模型只有10M参数,却能完成基本的文本生成任务,非常适合资源受限的场景。这种小模型在边缘设备上推理时,内存占用和计算需求都极低。
训练框架:TinyLLM提供了一个完整的训练和部署pipeline,支持用户用自己的数据训练模型。框架支持多种优化技术,比如量化(quantization)和剪枝(pruning),进一步降低模型的资源需求。
嵌入式应用:TinyLLM最初是为嵌入式传感设备设计的。
「llm.pdf」项目里的TinyLLM-10M,正是这个框架的一个实例。
虽然PDF并不是TinyLLM的典型应用场景,但这种跨界玩法也体现了小型语言模型的灵活性。
不只是AI,连Linux都能跑?
更让人瞠目结舌的是,Zaid在评论区丢出一记「重磅炸弹」:早在2月份,他就发帖提到过,PDF文件还能运行Linux系统!
他提到的项目利用RISC-V模拟器(基于TinyEMU),通过JavaScript在PDF里模拟出一个完整的Linux环境。
换句话说,你打开一个PDF,里面可能藏着一个能跑命令行的小型操作系统!