Scientia · 科学
AI 科学
AI 背后的论文、概念与人物：图谱里有 198 个，包括 AlexNet、AlphaFold、AlphaGo、BERT、ResNet、T5。
这个星系里的能力
模型12
- AlexNet20122012 年以大幅优势赢得 ImageNet 竞赛的卷积网络，引爆深度学习浪潮。可离线本地运行
- AlphaFold2018DeepMind 根据氨基酸序列预测蛋白质结构的系统。开源免费
- AlphaGo2016DeepMind 的围棋程序，结合深度网络与树搜索，于 2016 年击败李世石。
- BERT2018谷歌的双向 Transformer 编码器，确立了 NLP 先预训练后微调的范式。开源免费 · 可离线本地运行
- ResNet2015微软研究院提出的残差网络，其跳跃连接让极深网络得以训练。开源免费 · 可离线本地运行
- T52019谷歌的文本到文本迁移 Transformer，把所有 NLP 任务统一为文本输入输出。开源免费 · 可离线本地运行
- AlphaZero2017DeepMind 的自学系统，不依赖人类棋谱，精通国际象棋、将棋与围棋。
- DQN2013DeepMind 的深度 Q 网络，仅凭原始像素学会玩雅达利游戏。
- word2vec2013谷歌提出的从大规模文本中学习词向量的方法与工具。开源免费 · 可离线本地运行
- Alpaca2023斯坦福基于 LLaMA、用自指令数据微调的指令跟随模型。开源免费 · 可离线本地运行
- ELMo2018Ai2 基于双向 LSTM 语言模型的上下文词向量。开源免费 · 可离线本地运行
- Genie2024Google DeepMind 的世界模型家族，可生成可交互的虚拟环境。
组织16
- Google DeepMind2010谷歌的 AI 实验室，由 DeepMind 与 Google Brain 于 2023 年合并而成。
- Carnegie Mellon University1900匹兹堡研究型大学，设立了全球首个机器学习系。
- MIT1959美国麻省研究型大学，其 1959 年创立的人工智能项目后发展为 CSAIL。
- Stanford University1963美国加州私立研究型大学，其人工智能实验室 SAIL 创立于 1963 年。
- Tsinghua University 清华大学1911北京的研究型大学，其 AI 团队参与研发了 GLM 系列模型。
- UC Berkeley美国加州公立研究型大学，伯克利人工智能研究实验室 BAIR 所在地。
- University of Toronto2012加拿大研究型大学，杰弗里·辛顿的团队于 2012 年在此打造 AlexNet。
- Ai22014艾伦人工智能研究所，西雅图非营利研究机构，发布完全开放的模型。
- EleutherAI2020草根非营利研究组织，发布了 The Pile 数据集与早期开放 GPT 类模型。
- LAION2021德国非营利组织，构建 LAION-5B 等开放数据集用于训练多模态模型。
- Mila1993蒙特利尔 AI 研究所，由约书亚·本吉奥于 1993 年创立。
- New York University2013纽约的研究型大学，其数据科学中心于 2013 年成立，杨立昆任创始主任。
- Princeton University1985美国新泽西州研究型大学，WordNet 于 1985 年在此诞生，ImageNet 也起步于此。
- Safe Superintelligence2024由伊利亚·苏茨克维联合创立、致力于构建安全超级智能的研究公司。
- Thinking Machines Lab2025由 OpenAI 前 CTO 米拉·穆拉蒂于 2025 年创立的 AI 研究与产品公司。
- Technology Innovation Institute2020阿布扎比政府设立的研究机构，开发 Falcon 大语言模型。
人物33
- Alan Turing1950英国数学家，奠定了计算理论并提出检验机器智能的图灵测试。
- Demis Hassabis2010DeepMind 联合创始人，主导 AlphaGo 与 AlphaFold，获 2024 年诺贝尔化学奖。
- Geoffrey Hinton1986深度学习先驱，以反向传播、深度信念网络和 AlexNet 闻名，获图灵奖与诺贝尔奖。
- Yann LeCun1989深度学习先驱，开创了用于图像识别的卷积神经网络，图灵奖得主。
- Andrej Karpathy2015AI 研究者与教育者，OpenAI 创始成员之一，提出了“氛围编程”一词。
- Andrew Ng2012研究者与教育者，联合创立 Google Brain 和 Coursera，普及了机器学习在线课程。
- Fei-Fei Li2009计算机科学家，创建了推动深度学习革命的 ImageNet 数据集。
- Ian Goodfellow2014研究者，发明了生成对抗网络，并合著教材《深度学习》。
- Ilya Sutskever2012研究者，参与创造 AlexNet 与序列到序列学习，联合创立 OpenAI 与 SSI。
- Jeff Dean2012谷歌工程师与研究者，联合创立 Google Brain，参与设计 MapReduce 等大规模系统。
- John McCarthy1955计算机科学家，提出“人工智能”一词并创造了 Lisp 语言。
- Kaiming He2015计算机视觉研究者，提出了 ResNet 及其残差连接。
- Marvin Minsky1955人工智能先驱，参与组织 1956 年达特茅斯会议并共同创立 MIT 人工智能实验室。
- Richard Sutton1988强化学习先驱，提出时序差分学习，2024 年图灵奖得主。
- Yoshua Bengio1993深度学习先驱，创立 Mila，推动神经语言模型与注意力机制，图灵奖得主。
- Alec Radford2018研究者，OpenAI GPT、GPT-2 与 CLIP 论文的第一作者。
- Alex Krizhevsky2009研究者，构建了赢得 2012 年 ImageNet 竞赛的 AlexNet，并创建 CIFAR-10。
- Ashish Vaswani2017提出 Transformer 的论文《Attention Is All You Need》的第一作者。
- Dan Hendrycks2020研究者，创建 MMLU 与 MATH 基准，并主导“人类最后的考试”。
- David Silver2016强化学习研究者，主导 DeepMind 的 AlphaGo 与 AlphaZero 项目。
- François Chollet2019深度学习库 Keras 与 ARC-AGI 基准的作者。
- Frank Rosenblatt1958心理学家，发明了最早的可训练神经网络之一感知机。
- Jared Kaplan2020物理学家出身的 AI 研究者，主导缩放定律研究并联合创立 Anthropic。
- Jeremy Howard2018fast.ai 联合创始人，ULMFiT 作者之一，提出 llms.txt 标准。
- John Jumper2021研究者，主导 AlphaFold 2 研发，获 2024 年诺贝尔化学奖。
- Jonathan Ho2020研究者，提出去噪扩散概率模型（DDPM）。
- Jürgen Schmidhuber1997计算机科学家，与霍赫赖特共同发明 LSTM 循环神经网络。
- Noam Shazeer2017Transformer 论文作者之一、稀疏混合专家模型先驱，联合创立 Character.AI。
- Oriol Vinyals2014研究者，序列到序列学习与知识蒸馏论文作者之一，并主导 AlphaStar。
- Quoc V. Le2012谷歌研究者，序列到序列学习论文作者之一，开创神经架构搜索。
- Sepp Hochreiter1997计算机科学家，分析了梯度消失问题并共同发明 LSTM。
- Tomáš Mikolov2013研究者，创造了 word2vec，推动了词向量的普及。
- Paul Christiano2017对齐研究者，共同开创了人类反馈强化学习（RLHF）。
概念69
- AI Agent1995感知环境并为目标自主行动的系统，如今多为循环调用工具的大模型。
- Artificial General Intelligence (AGI)2007在大多数认知任务上达到或超越人类水平的设想中的 AI。
- Artificial Intelligence1956研究让计算机完成通常需要人类智能的任务的学科。
- Deep Learning2006使用多层神经网络直接从原始数据中学习表示的机器学习方法。
- Generative AI2022能创造文本、图像、音频、视频或代码等新内容的 AI 系统。
- Large Language Model (LLM)2018在海量文本上训练、通过预测下一个词元来理解和生成语言的大型神经网络。
- Machine Learning1959人工智能的分支，让系统从数据中学习规律，而非依赖人工编写的规则。
- Neural Network1943由多层相互连接的人工神经元组成、权重从数据中学得的模型。
- Transformer2017以注意力机制为核心的神经网络架构，几乎所有现代大语言模型都建立在它之上。
- AI Alignment2016让 AI 系统的行为符合人类意图与价值观的研究和技术。
- Attention2014让模型在生成每个输出时聚焦输入中最相关部分的机制。
- Backpropagation1986把误差梯度逐层反向传递以训练神经网络的算法。
- Chain-of-Thought2022让模型在给出最终答案前写出中间推理步骤。
- Code Generation2021用 AI 模型根据自然语言或上下文编写、补全和修改代码。
- Context Window2018模型一次能处理的最大文本量，以词元数计。
- Convolutional Neural Network (CNN)1989使用可学习卷积核处理数据的神经网络，广泛用于图像。
- Diffusion Model2015通过学习逆转逐步加噪过程来生成数据的模型。
- Embeddings2013把词语、文本或图像等表示为稠密向量，使相似内容在空间中彼此靠近。
- Fine-Tuning2014在较小的特定数据上继续训练预训练模型，使其适应具体任务。
- Function Calling2023模型输出结构化的外部工具或 API 调用，由应用程序执行。
- Generative Adversarial Network (GAN)2014由生成器与判别器相互对抗训练的生成模型。
- Hallucination2018模型把错误或无依据的信息当作事实陈述的现象。
- Long Short-Term Memory (LSTM)1997带门控记忆单元的循环神经网络，能学习序列中的长程依赖。
- LoRA2021冻结原模型、只训练附加低秩矩阵的高效微调方法。
- Mixture of Experts (MoE)1991把每个输入路由到少数专家子网络、每次只激活部分参数的架构。
- Multimodality2021模型能处理或生成文本、图像、音频等多种类型数据的能力。
- Open Weights2023公开发布训练好的模型权重，任何人都可下载运行。
- Pretraining2018模型在大规模通用数据上学习通用知识的第一阶段训练。
- Prompt Engineering2020设计和改进给模型的指令与示例，以获得更好输出的做法。
- Reasoning Model2024经过训练、在回答前先进行较长推理的语言模型。
- Reinforcement Learning1988智能体通过试错与奖励信号不断改进行为的学习方法。
- Retrieval-Augmented Generation (RAG)2020先检索相关文档并加入提示，再让模型生成回答的方法。
- RLHF2017用基于人类偏好训练的奖励模型，通过强化学习微调模型。
- Scaling Laws2020描述模型损失随参数、数据和算力增长而可预测下降的经验规律。
- Speech Recognition2012把语音转换为文字。
- Text-to-Image2021根据文字描述生成图像。
- Text-to-Speech2016把文字转换为自然语音。
- Text-to-Video2022根据文字描述生成视频片段。
- Tokenization2015把文本切分为子词等词元，供语言模型读取和生成。
- Turing Test1950图灵提出的测试：判断机器的对话能否与人类区分开来。
- Vibe Coding2025向 AI 描述需求并几乎不审阅就接受其生成代码的编程方式。
- Computer Use2024AI 模型通过读取屏幕并控制鼠标键盘来操作电脑。
- Constitutional AI2022Anthropic 提出的方法，借助 AI 反馈训练模型遵循一套书面原则。
- Context Engineering2025为任务每一步精心安排进入模型上下文的信息、工具与历史。
- DPO2023无需单独奖励模型、直接用偏好数据对优化模型的对齐方法。
- FlashAttention2022考虑显存读写、以更快速度和更少显存精确计算注意力的算法。
- In-Context Learning2020模型无需更新权重、仅凭提示中的说明或示例就能完成新任务的能力。
- Inference2016运行已训练好的模型来产生输出，区别于训练过程。
- Knowledge Distillation2015训练较小的学生模型去模仿较大教师模型的输出。
- Knowledge Graph2012由实体及其类型化关系构成、用于存储和查询知识的网络。
- Latent Diffusion2021在自编码器的压缩潜空间中进行扩散，降低高分辨率生成的成本。
- Multi-Agent System1995多个智能体相互协作或竞争以解决问题的系统。
- Music Generation2020用 AI 模型作曲或生成歌曲，常以文字提示驱动。
- Perceptron1958早期的单层神经网络，通过调整权重学习线性分类器。
- Prompt Injection2022用不受信任的文本夹带指令、劫持模型并覆盖开发者指令的攻击。
- Quantization2015以更低数值精度存储和运行模型权重，以节省内存和算力。
- ReAct2022让语言模型交替进行推理与调用工具等行动的提示范式。
- Recurrent Neural Network (RNN)1986带有循环连接、逐步处理序列并保留隐藏状态的神经网络。
- Residual Connection2015把层的输入直接加到输出上的捷径连接，使极深网络可训练。
- Self-Supervised Learning2018通过用输入的一部分预测另一部分，从无标注数据中学习。
- Semantic Search2019按语义而非关键词匹配的搜索，通常通过比较嵌入向量实现。
- Sequence-to-Sequence (Seq2Seq)2014用编码器—解码器把一个序列映射为另一个序列，最早用于机器翻译。
- Vector Database2019存储嵌入向量并快速查找与查询最相近向量的数据库。
- Vision Transformer (ViT)2020把图像切成固定大小的图块当作词元来处理的 Transformer。
- Voice Cloning2018根据少量录音样本，用特定人的声音生成语音。
- World Model2018AI 用来预测和规划的、关于环境如何运作的内部模型。
- Image Upscaling2014提高图像分辨率并补充合理细节，又称超分辨率。
- Ontology1993对描述某一领域所用的类别、属性和关系的形式化规定。
- Temporal-Difference Learning1988根据相邻时刻预测之差更新价值估计的强化学习方法。
论文45
- Attention Is All You Need2017提出完全基于注意力机制的 Transformer 架构的论文。
- Computing Machinery and Intelligence1950图灵探讨机器能否思考并提出“模仿游戏”（即图灵测试）的论文。
- ImageNet Classification with Deep Convolutional Neural Networks2012提出在 GPU 上训练的卷积网络 AlexNet，其 2012 年夺冠开启深度学习热潮。
- A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence19551956 年达特茅斯会议的提案，首次提出“人工智能”一词。
- An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale2020提出视觉 Transformer、把标准 Transformer 用于图像块的论文。
- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding2018谷歌提出 BERT 的论文，用掩码语言建模预训练双向 Transformer。
- Chain-of-Thought Prompting Elicits Reasoning in Large Language Models2022谷歌论文：在提示中给出逐步推理示例可提升大模型推理能力。
- Deep Residual Learning for Image Recognition2015提出残差网络的论文，其跳跃连接使上百层的网络得以训练。
- DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning2025DeepSeek 论文：通过大规模强化学习激发大模型的推理能力。
- Denoising Diffusion Probabilistic Models2020证明去噪扩散模型能生成高质量图像的论文。
- Efficient Estimation of Word Representations in Vector Space2013提出 word2vec 高效学习词向量方法的论文。
- Generative Adversarial Nets2014提出生成对抗网络的论文，生成器与判别器相互博弈。
- Gradient-Based Learning Applied to Document Recognition1998提出用于手写识别的 LeNet-5 卷积网络并介绍 MNIST 数据集的论文。
- High-Resolution Image Synthesis with Latent Diffusion Models2021提出潜在扩散模型的论文，是 Stable Diffusion 的基础。
- Highly Accurate Protein Structure Prediction with AlphaFold2021介绍 AlphaFold 2 的《自然》论文，能高精度预测蛋白质三维结构。
- ImageNet: A Large-Scale Hierarchical Image Database2009介绍按 WordNet 层级组织的大规模图像数据库 ImageNet 的论文。
- Improving Language Understanding by Generative Pre-Training2018OpenAI 提出 GPT 的论文：先生成式预训练 Transformer，再针对任务微调。
- Language Models are Few-Shot Learners2020OpenAI 提出 GPT-3，展示大语言模型能从提示中的少量示例学会任务。
- Learning Representations by Back-Propagating Errors1986在《自然》发表、展示反向传播能让多层网络学到有用内部表示的论文。
- Learning Transferable Visual Models From Natural Language Supervision2021OpenAI 提出 CLIP，从网络图文对中学习图像与文本的联合嵌入。
- LLaMA: Open and Efficient Foundation Language Models2023Meta 提出 LLaMA 基础语言模型家族的论文，仅使用公开数据训练。
- Long Short-Term Memory1997提出 LSTM 循环网络以克服梯度消失问题的论文。
- LoRA: Low-Rank Adaptation of Large Language Models2021微软提出 LoRA，通过训练小型低秩矩阵微调大模型的论文。
- Mastering the Game of Go with Deep Neural Networks and Tree Search2016介绍 AlphaGo 的《自然》论文，结合深度神经网络与树搜索精通围棋。
- Neural Machine Translation by Jointly Learning to Align and Translate2014在神经机器翻译中提出注意力机制的论文。
- Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks2020提出检索增强生成、把检索器与序列生成模型结合的论文。
- Scaling Laws for Neural Language Models2020OpenAI 发现语言模型损失与模型规模、数据量和算力呈幂律关系的论文。
- The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain1958罗森布拉特提出感知机这一受神经元启发的可训练模型的论文。
- Training Language Models to Follow Instructions with Human Feedback2022OpenAI 提出 InstructGPT，用人类反馈微调模型以遵循指令。
- Constitutional AI: Harmlessness from AI Feedback2022Anthropic 提出宪法 AI，依据原则用 AI 反馈训练无害助手的论文。
- Deep Reinforcement Learning from Human Preferences2017证明智能体可从人类对行为的比较中学习复杂行为，奠定了 RLHF 基础。
- Deep Unsupervised Learning using Nonequilibrium Thermodynamics2015提出扩散概率模型、学习逆转逐步加噪过程的论文。
- Direct Preference Optimization: Your Language Model is Secretly a Reward Model2023斯坦福提出直接偏好优化的论文，无需强化学习即可按偏好对齐模型。
- Distilling the Knowledge in a Neural Network2015提出知识蒸馏、把大模型知识迁移到小模型的论文。
- Evaluating Large Language Models Trained on Code2021OpenAI 提出 Codex 与 HumanEval 基准的论文，评测按文档字符串编写 Python 函数。
- FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness2022提出 FlashAttention 的论文，以感知显存读写的精确注意力算法加速 Transformer。
- Language Models are Unsupervised Multitask Learners2019OpenAI 提出 GPT-2，展示语言模型无需专门训练即可完成多种任务。
- ReAct: Synergizing Reasoning and Acting in Language Models2022提出 ReAct 的论文，让语言模型交替进行推理与行动。
- Sequence to Sequence Learning with Neural Networks2014证明 LSTM 编码器—解码器可端到端把一个序列转换为另一序列的论文。
- Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity2021谷歌提出 Switch Transformer，每个词元只路由到一个专家的稀疏混合专家模型。
- Toolformer: Language Models Can Teach Themselves to Use Tools2023Meta 论文：语言模型自学何时以及如何调用外部工具。
- Training Compute-Optimal Large Language Models2022DeepMind 发现在算力最优训练中模型规模与训练词元数应同步增长。
- Universal Language Model Fine-tuning for Text Classification2018提出 ULMFiT，证明预训练语言模型可微调用于文本分类的论文。
- Adaptive Mixtures of Local Experts1991提出由门控网络为每个输入选择专家网络的混合专家系统的论文。
- Building High-level Features Using Large Scale Unsupervised Learning2012谷歌论文：大规模网络在无标注视频帧上学会识别猫和人脸。
评测基准14
- ARC-AGI2019Chollet 设计的网格谜题基准，衡量系统从少量示例中学习新技能的效率。开源免费
- Arena (LMArena)2023通过众包两两对比投票为 AI 模型排名的公开榜单，前身为 Chatbot Arena。
- HumanEval2021OpenAI 手写的 164 道 Python 编程题，通过单元测试检验。开源免费
- Humanity's Last Exam2025由各领域专家出题、专为难倒前沿模型而设计的综合基准。
- MMLU2020涵盖数学到法律等 57 个学科的多项选择题，测试模型的知识与推理。开源免费
- SWE-bench2023要求 AI 解决 Python 开源仓库中真实 GitHub 问题并用测试验证的基准。开源免费
- BIG-bench2022由众多研究者共建、包含 200 多项任务的语言模型能力评测。开源免费
- GLUE2018由九项英语语言理解任务组成、用于比较预训练语言模型的基准。开源免费
- GPQA2023生物、物理和化学领域难以搜索作答的研究生水平多项选择题。开源免费
- GSM8K2021约 8500 道需要多步推理的小学数学应用题。开源免费
- MATH2021包含 12500 道竞赛数学题及逐步解答的数据集。开源免费
- MMMU2023跨多个学科、结合图像与文字的大学水平多模态题目。开源免费
- SQuAD2016斯坦福的阅读理解数据集，答案为维基百科段落中的片段。开源免费
- TruthfulQA2021测试模型是否会复述常见错误观念而非给出真实答案的问题集。开源免费
数据集9
- ImageNet2009按 WordNet 组织、含逾 1400 万张标注图像的数据库，其竞赛推动了深度学习热潮。
- Common Crawl2007非营利组织维护的免费开放网页抓取档案，是训练语言模型的主要文本来源。开源免费
- MNIST1998包含 7 万张手写数字标注图像的经典机器学习入门数据集。开源免费
- C42019谷歌从 Common Crawl 清洗得到的英文网页语料，最初用于训练 T5 模型。开源免费
- CIFAR-102009包含 10 个类别、6 万张小尺寸彩色图像的图像分类标准数据集。开源免费
- COCO2014微软发布的日常场景图像数据集，标注用于目标检测、分割和图像描述。开源免费
- FineWeb2024Hugging Face 基于 Common Crawl 过滤构建的大规模英文网页文本数据集，用于预训练。开源免费
- LAION-5B2022从网络收集的约 58.5 亿图文对开放数据集，用于训练图像模型。
- The Pile2020EleutherAI 整合 22 个来源、约 800GB 的英文文本语料，用于训练语言模型。开源免费
最后更新 2026-09-24