https://paperbridge.wiki/paper/arxiv-2607-24653-zh-kimi-k3-open-frontier-intelligence https://paperbridge.wiki/paper-images/arxiv-2607-24653-zh-kimi-k3-open-frontier-intelligence/1-markdown-kimi-k3.png Kimi K3 同时扩了四条轴，不能压成一句“信息流更好” Kimi K3 分别处理序列、深度、宽度和任务时长 https://paperbridge.wiki/paper-images/arxiv-2607-24653-zh-kimi-k3-open-frontier-intelligence/2-markdown-kda.png KDA 不保存无限增长的注意力表，而是反复改写固定状态 KDA 对固定形状状态执行衰减、修正、写入和读取 https://paperbridge.wiki/paper-images/arxiv-2607-24653-zh-kimi-k3-open-frontier-intelligence/3-markdown-kda.png 三层 KDA 后补一层全局注意力：便宜接力与精确回看缺一不可 三层 KDA 接力后由一层 Gated MLA 做全局交互 https://paperbridge.wiki/paper-images/arxiv-2607-24653-zh-kimi-k3-open-frontier-intelligence/4-markdown-attnres-80.png AttnRes 改的不是序列记忆，而是第 80 层还能向谁取信息 Block AttnRes 让当前层从早期块中按需选择表示 https://paperbridge.wiki/paper-images/arxiv-2607-24653-zh-kimi-k3-open-frontier-intelligence/5-markdown-2-78-token-latentmoe.png 2.78 万亿参数不是每个 token 都算：LatentMoE 只召集一小队专家 Stable LatentMoE 在潜在空间路由专家并控制负载 https://paperbridge.wiki/paper-images/arxiv-2607-24653-zh-kimi-k3-open-frontier-intelligence/6-markdown-token.png 一百万 token 是训练课程、数据设计和缓存系统共同完成的 上下文窗口逐级延长，运行状态按活跃度分层保存 https://paperbridge.wiki/paper-images/arxiv-2607-24653-zh-kimi-k3-open-frontier-intelligence/7-markdown-rl.png 长时程执行靠 RL、验证器和可恢复世界，不是上下文窗口自动长出来的 长轨迹在推理、工具、验证和持久状态之间循环 https://paperbridge.wiki/paper-images/arxiv-2607-24653-zh-kimi-k3-open-frontier-intelligence/8-markdown.png 成绩已经进入前沿，但论文最重要的边界也写在成绩表里 Kimi K3 在代码和智能体任务领先，在研究级推理仍有差距 https://paperbridge.wiki/paper/arxiv-1910-02054-zh-zero-memory-optimizations-toward-training-trillion-p https://paperbridge.wiki/paper-images/arxiv-1910-02054-zh-zero-memory-optimizations-toward-training-trillion-p/1-scene-copies-gpu.png 四张 GPU，不该长期保存四份完整训练状态 四张 GPU 的最小例子：标准数据并行在每张卡保存 A、B、C、D 四块完整状态；ZeRO 让四张卡各自长期保存一块。 https://paperbridge.wiki/paper-images/arxiv-1910-02054-zh-zero-memory-optimizations-toward-training-trillion-p/2-scene-lifecycle.png 分开保存不等于分开计算：需要时临时拼齐 ZeRO 的时间顺序：四张 GPU 平时各存一个分片，计算当前层时临时拼齐所需参数，完成计算后再拆开，只保留各自负责的分片。 https://paperbridge.wiki/paper-images/arxiv-1910-02054-zh-zero-memory-optimizations-toward-training-trillion-p/3-scene-stages-stage.png 三个 Stage 只是逐步扩大“分开保存”的范围 论文表 1 的模型状态显存估算：7.5B 模型、64 路数据并行，从标准 DP 的 120GB 依次降至 31.4GB、16.6GB 和 1.9GB。 https://paperbridge.wiki/paper/arxiv-2509-06201-en-grasp-mpc-closed-loop-visual-grasping-via-value-guid https://paperbridge.wiki/paper-images/arxiv-2509-06201-en-grasp-mpc-closed-loop-visual-grasping-via-value-guid/1-markdown-an-open-loop-robot-follows-an-outdated-grasp-target-after-the-o.png An open-loop robot follows an outdated grasp target after the object shifts. An open-loop robot follows an outdated grasp target after the object shifts. https://paperbridge.wiki/paper-images/arxiv-2509-06201-en-grasp-mpc-closed-loop-visual-grasping-via-value-guid/2-markdown-synthetic-grasp-trajectories-provide-both-successful-and-failed.png Synthetic grasp trajectories provide both successful and failed examples. Synthetic grasp trajectories provide both successful and failed examples. https://paperbridge.wiki/paper-images/arxiv-2509-06201-en-grasp-mpc-closed-loop-visual-grasping-via-value-guid/3-markdown-a-learned-value-landscape-assigns-lower-cost-near-successful-gr.png A learned value landscape assigns lower cost near successful grasps. A learned value landscape assigns lower cost near successful grasps. https://paperbridge.wiki/paper-images/arxiv-2509-06201-en-grasp-mpc-closed-loop-visual-grasping-via-value-guid/4-markdown-mpc-ranks-short-candidate-motions-using-learned-grasp-cost-and-.png MPC ranks short candidate motions using learned grasp cost and safety costs. MPC ranks short candidate motions using learned grasp cost and safety costs. https://paperbridge.wiki/paper-images/arxiv-2509-06201-en-grasp-mpc-closed-loop-visual-grasping-via-value-guid/5-markdown-repeated-sensing-and-replanning-bends-the-gripper-path-toward-a.png Repeated sensing and replanning bends the gripper path toward a moved object. Repeated sensing and replanning bends the gripper path toward a moved object. https://paperbridge.wiki/paper-images/arxiv-2509-06201-en-grasp-mpc-closed-loop-visual-grasping-via-value-guid/6-markdown-exact-simulation-success-rates-for-predicted-grasps.png Exact simulation success rates for predicted grasps. Exact simulation success rates for predicted grasps. https://paperbridge.wiki/paper/arxiv-2509-06201-zh-grasp-mpc-closed-loop-visual-grasping-via-value-guid https://paperbridge.wiki/paper-images/arxiv-2509-06201-zh-grasp-mpc-closed-loop-visual-grasping-via-value-guid/1-markdown.png 开环抓取把一次预测当成终点，物体一移动，夹爪仍走旧路线 开环抓取把一次预测当成终点，物体一移动，夹爪仍走旧路线 https://paperbridge.wiki/paper-images/arxiv-2509-06201-zh-grasp-mpc-closed-loop-visual-grasping-via-value-guid/2-markdown.png 合成抓取数据集的规模、构成与生成过程 合成抓取数据集的规模、构成与生成过程 https://paperbridge.wiki/paper-images/arxiv-2509-06201-zh-grasp-mpc-closed-loop-visual-grasping-via-value-guid/3-markdown.png 点云和夹爪位姿经过价值函数，输出未来失败成本 点云和夹爪位姿经过价值函数，输出未来失败成本 https://paperbridge.wiki/paper-images/arxiv-2509-06201-zh-grasp-mpc-closed-loop-visual-grasping-via-value-guid/4-markdown-mpc.png MPC把抓取成本、避碰和动作平滑合成一次短程选择 MPC把抓取成本、避碰和动作平滑合成一次短程选择 https://paperbridge.wiki/paper-images/arxiv-2509-06201-zh-grasp-mpc-closed-loop-visual-grasping-via-value-guid/5-markdown.png 观察、短程预测、执行一步、再次观察构成闭环 观察、短程预测、执行一步、再次观察构成闭环 https://paperbridge.wiki/paper-images/arxiv-2509-06201-zh-grasp-mpc-closed-loop-visual-grasping-via-value-guid/6-markdown.png 仿真噪声与真机三场景中的精确成功率对比 仿真噪声与真机三场景中的精确成功率对比 https://paperbridge.wiki/paper/arxiv-2511-00091-en-self-improving-vision-language-action-models-with-da https://paperbridge.wiki/paper-images/arxiv-2511-00091-en-self-improving-vision-language-action-models-with-da/1-markdown-a-frozen-generalist-enters-failure-regions-that-polished-demons.png A frozen generalist enters failure regions that polished demonstrations rarely cover A frozen generalist enters failure regions that polished demonstrations rarely cover https://paperbridge.wiki/paper-images/arxiv-2511-00091-en-self-improving-vision-language-action-models-with-da/2-markdown-the-residual-specialist-adds-a-correction-to-the-frozen-general.png The residual specialist adds a correction to the frozen generalist's action The residual specialist adds a correction to the frozen generalist's action https://paperbridge.wiki/paper-images/arxiv-2511-00091-en-self-improving-vision-language-action-models-with-da/3-markdown-the-base-policy-starts-each-rollout-and-the-specialist-takes-ov.png The base policy starts each rollout and the specialist takes over later The base policy starts each rollout and the specialist takes over later https://paperbridge.wiki/paper-images/arxiv-2511-00091-en-self-improving-vision-language-action-models-with-da/4-markdown-trajectory-curation-keeps-diverse-recoveries-close-to-the-gener.png Trajectory curation keeps diverse recoveries close to the generalist's behavior Trajectory curation keeps diverse recoveries close to the generalist's behavior https://paperbridge.wiki/paper-images/arxiv-2511-00091-en-self-improving-vision-language-action-models-with-da/5-markdown-successful-trajectories-are-distilled-into-one-deployable-gener.png Successful trajectories are distilled into one deployable generalist Successful trajectories are distilled into one deployable generalist https://paperbridge.wiki/paper-images/arxiv-2511-00091-en-self-improving-vision-language-action-models-with-da/6-markdown-real-robot-trials-show-a-recovery-advantage-and-the-remaining-b.png Real-robot trials show a recovery advantage and the remaining boundaries Real-robot trials show a recovery advantage and the remaining boundaries https://paperbridge.wiki/paper/arxiv-2511-00091-zh-self-improving-vision-language-action-models-with-da https://paperbridge.wiki/paper-images/arxiv-2511-00091-zh-self-improving-vision-language-action-models-with-da/1-markdown.png 冻结的通才模型会走进自己的失败区域 冻结的通才模型会走进自己的失败区域 https://paperbridge.wiki/paper-images/arxiv-2511-00091-zh-self-improving-vision-language-action-models-with-da/2-markdown.png 残差策略只修正基础动作，而不重训整台大模型 残差策略只修正基础动作，而不重训整台大模型 https://paperbridge.wiki/paper-images/arxiv-2511-00091-zh-self-improving-vision-language-action-models-with-da/3-markdown.png 随机接管点把失败前缀和恢复后缀接成一条轨迹 随机接管点把失败前缀和恢复后缀接成一条轨迹 https://paperbridge.wiki/paper-images/arxiv-2511-00091-zh-self-improving-vision-language-action-models-with-da/4-markdown-vla.png 成功的混合轨迹被汇总，并通过监督微调写回 VLA 成功的混合轨迹被汇总，并通过监督微调写回 VLA https://paperbridge.wiki/paper-images/arxiv-2511-00091-zh-self-improving-vision-language-action-models-with-da/5-markdown-pld-libero-simplerenv.png PLD 在 LIBERO 和 SimplerEnv 上的精确成功率比较 PLD 在 LIBERO 和 SimplerEnv 上的精确成功率比较 https://paperbridge.wiki/paper-images/arxiv-2511-00091-zh-self-improving-vision-language-action-models-with-da/6-markdown.png 真实机械臂试验把成功与边界放在同一张图里 真实机械臂试验把成功与边界放在同一张图里 https://paperbridge.wiki/paper/arxiv-2602-06949-en-dreamdojo-a-generalist-robot-world-model-from-large- https://paperbridge.wiki/paper-images/arxiv-2602-06949-en-dreamdojo-a-generalist-robot-world-model-from-large-/1-markdown-the-human-video-mixture-is-far-larger-and-more-varied-than-robo.png The human-video mixture is far larger and more varied than robot datasets used by earlier world models. The human-video mixture is far larger and more varied than robot datasets used by earlier world models. https://paperbridge.wiki/paper-images/arxiv-2602-06949-en-dreamdojo-a-generalist-robot-world-model-from-large-/2-markdown-a-compact-latent-action-records-the-change-between-adjacent-fra.png A compact latent action records the change between adjacent frames and becomes a reusable training label. A compact latent action records the change between adjacent frames and becomes a reusable training label. https://paperbridge.wiki/paper-images/arxiv-2602-06949-en-dreamdojo-a-generalist-robot-world-model-from-large-/3-markdown-human-video-pretraining-is-followed-by-robot-specific-action-ad.png Human-video pretraining is followed by robot-specific action adaptation. Human-video pretraining is followed by robot-specific action adaptation. https://paperbridge.wiki/paper-images/arxiv-2602-06949-en-dreamdojo-a-generalist-robot-world-model-from-large-/4-markdown-distillation-raises-speed-from-2-72-to-10-81-fps-while-expandin.png Distillation raises speed from 2.72 to 10.81 FPS while expanding temporal context. Distillation raises speed from 2.72 to 10.81 FPS while expanding temporal context. https://paperbridge.wiki/paper-images/arxiv-2602-06949-en-dreamdojo-a-generalist-robot-world-model-from-large-/5-markdown-candidate-actions-are-rolled-out-as-videos-scored-and-only-the-.png Candidate actions are rolled out as videos, scored, and only the selected action is executed. Candidate actions are rolled out as videos, scored, and only the selected action is executed. https://paperbridge.wiki/paper-images/arxiv-2602-06949-en-dreamdojo-a-generalist-robot-world-model-from-large-/6-markdown-human-preferences-favor-dreamdojo-in-edited-out-of-distribution.png Human preferences favor DreamDojo in edited out-of-distribution scenes, while the evaluation scope remains narrow. Human preferences favor DreamDojo in edited out-of-distribution scenes, while the evaluation scope remains narrow. https://paperbridge.wiki/paper/arxiv-2602-06949-zh-dreamdojo-a-generalist-robot-world-model-from-large- https://paperbridge.wiki/paper-images/arxiv-2602-06949-zh-dreamdojo-a-generalist-robot-world-model-from-large-/1-markdown.png 三类人类视频汇成大规模预训练数据 三类人类视频汇成大规模预训练数据 https://paperbridge.wiki/paper-images/arxiv-2602-06949-zh-dreamdojo-a-generalist-robot-world-model-from-large-/2-markdown.png 潜在动作把无标签视频变成可控制的训练样本 潜在动作把无标签视频变成可控制的训练样本 https://paperbridge.wiki/paper-images/arxiv-2602-06949-zh-dreamdojo-a-generalist-robot-world-model-from-large-/3-markdown.png 预训练知识经过目标机器人后训练接上真实动作 预训练知识经过目标机器人后训练接上真实动作 https://paperbridge.wiki/paper-images/arxiv-2602-06949-zh-dreamdojo-a-generalist-robot-world-model-from-large-/4-markdown.png 蒸馏让模型从逐段生成变成实时自回归 蒸馏让模型从逐段生成变成实时自回归 https://paperbridge.wiki/paper-images/arxiv-2602-06949-zh-dreamdojo-a-generalist-robot-world-model-from-large-/5-markdown.png 世界模型在执行前比较候选动作的未来 世界模型在执行前比较候选动作的未来 https://paperbridge.wiki/paper-images/arxiv-2602-06949-zh-dreamdojo-a-generalist-robot-world-model-from-large-/6-markdown-ood.png OOD 人评结果与已知失败边界 OOD 人评结果与已知失败边界 https://paperbridge.wiki/paper/arxiv-2505-15659-en-flare-robot-learning-with-implicit-world-modeling https://paperbridge.wiki/paper-images/arxiv-2505-15659-en-flare-robot-learning-with-implicit-world-modeling/1-markdown-a-comparison-between-predicting-detailed-future-pixels-and-comp.png A comparison between predicting detailed future pixels and compact future features A comparison between predicting detailed future pixels and compact future features https://paperbridge.wiki/paper-images/arxiv-2505-15659-en-flare-robot-learning-with-implicit-world-modeling/2-markdown-future-tokens-inside-the-action-model-align-with-a-compact-enco.png Future tokens inside the action model align with a compact encoding of the future view Future tokens inside the action model align with a compact encoding of the future view https://paperbridge.wiki/paper-images/arxiv-2505-15659-en-flare-robot-learning-with-implicit-world-modeling/3-markdown-a-shared-policy-receives-both-action-error-and-future-represent.png A shared policy receives both action error and future-representation error A shared policy receives both action error and future-representation error https://paperbridge.wiki/paper-images/arxiv-2505-15659-en-flare-robot-learning-with-implicit-world-modeling/4-markdown-grouped-bar-chart-of-average-success-rates-on-robocasa-and-simu.png Grouped bar chart of average success rates on RoboCasa and simulated GR-1 tasks Grouped bar chart of average success rates on RoboCasa and simulated GR-1 tasks https://paperbridge.wiki/paper-images/arxiv-2505-15659-en-flare-robot-learning-with-implicit-world-modeling/5-markdown-human-video-supplies-future-change-while-robot-demonstrations-s.png Human video supplies future change while robot demonstrations supply future change and actions Human video supplies future change while robot demonstrations supply future change and actions https://paperbridge.wiki/paper-images/arxiv-2505-15659-en-flare-robot-learning-with-implicit-world-modeling/6-markdown-evidence-card-separating-the-real-robot-result-from-the-narrow-.png Evidence card separating the real-robot result from the narrow evaluation scope Evidence card separating the real-robot result from the narrow evaluation scope https://paperbridge.wiki/paper/arxiv-2505-15659-zh-flare-robot-learning-with-implicit-world-modeling https://paperbridge.wiki/paper-images/arxiv-2505-15659-zh-flare-robot-learning-with-implicit-world-modeling/1-markdown.png 完整画面预测与任务线索压缩的对比 完整画面预测与任务线索压缩的对比 https://paperbridge.wiki/paper-images/arxiv-2505-15659-zh-flare-robot-learning-with-implicit-world-modeling/2-markdown-token.png 未来 token 在策略内部形成预测槽位 未来 token 在策略内部形成预测槽位 https://paperbridge.wiki/paper-images/arxiv-2505-15659-zh-flare-robot-learning-with-implicit-world-modeling/3-markdown.png 动作学习与未来对齐共同训练策略 动作学习与未来对齐共同训练策略 https://paperbridge.wiki/paper-images/arxiv-2505-15659-zh-flare-robot-learning-with-implicit-world-modeling/4-markdown.png 两套模拟基准的成功率对比 两套模拟基准的成功率对比 https://paperbridge.wiki/paper-images/arxiv-2505-15659-zh-flare-robot-learning-with-implicit-world-modeling/5-markdown.png 人类第一视角视频通过未来对齐参与训练 人类第一视角视频通过未来对齐参与训练 https://paperbridge.wiki/paper-images/arxiv-2505-15659-zh-flare-robot-learning-with-implicit-world-modeling/6-markdown-gr1.png 真实 GR1 证据与适用边界 真实 GR1 证据与适用边界 https://paperbridge.wiki/paper/arxiv-2505-12705-en-dreamgen-unlocking-generalization-in-robot-learning- https://paperbridge.wiki/paper-images/arxiv-2505-12705-en-dreamgen-unlocking-generalization-in-robot-learning-/1-markdown-a-narrow-real-data-seed-teaches-one-robot-body.png A narrow real-data seed teaches one robot body A narrow real-data seed teaches one robot body https://paperbridge.wiki/paper-images/arxiv-2505-12705-en-dreamgen-unlocking-generalization-in-robot-learning-/2-markdown-robot-adaptation-preserves-broad-video-knowledge.png Robot adaptation preserves broad video knowledge Robot adaptation preserves broad video knowledge https://paperbridge.wiki/paper-images/arxiv-2505-12705-en-dreamgen-unlocking-generalization-in-robot-learning-/3-markdown-a-generated-video-becomes-a-labeled-neural-trajectory.png A generated video becomes a labeled neural trajectory A generated video becomes a labeled neural trajectory https://paperbridge.wiki/paper-images/arxiv-2505-12705-en-dreamgen-unlocking-generalization-in-robot-learning-/4-markdown-neural-trajectories-train-the-controller.png Neural trajectories train the controller Neural trajectories train the controller https://paperbridge.wiki/paper-images/arxiv-2505-12705-en-dreamgen-unlocking-generalization-in-robot-learning-/5-markdown-dreamgen-raises-success-on-unseen-behaviors-and-environments.png DreamGen raises success on unseen behaviors and environments DreamGen raises success on unseen behaviors and environments https://paperbridge.wiki/paper-images/arxiv-2505-12705-en-dreamgen-unlocking-generalization-in-robot-learning-/6-markdown-better-generated-video-tends-to-mean-better-robot-learning-at-a.png Better generated video tends to mean better robot learning, at a high compute cost Better generated video tends to mean better robot learning, at a high compute cost https://paperbridge.wiki/paper/arxiv-2505-12705-zh-dreamgen-unlocking-generalization-in-robot-learning- https://paperbridge.wiki/paper-images/arxiv-2505-12705-zh-dreamgen-unlocking-generalization-in-robot-learning-/1-markdown.png 一小批真实示范是整条流水线的锚点 一小批真实示范是整条流水线的锚点 https://paperbridge.wiki/paper-images/arxiv-2505-12705-zh-dreamgen-unlocking-generalization-in-robot-learning-/2-markdown.png 首帧和指令被展开成一段机器人视频 首帧和指令被展开成一段机器人视频 https://paperbridge.wiki/paper-images/arxiv-2505-12705-zh-dreamgen-unlocking-generalization-in-robot-learning-/3-markdown.png 逆动力学模型把画面变化翻译成动作片段 逆动力学模型把画面变化翻译成动作片段 https://paperbridge.wiki/paper-images/arxiv-2505-12705-zh-dreamgen-unlocking-generalization-in-robot-learning-/4-markdown.png 神经轨迹把生成视频变成策略可学习的样本 神经轨迹把生成视频变成策略可学习的样本 https://paperbridge.wiki/paper-images/arxiv-2505-12705-zh-dreamgen-unlocking-generalization-in-robot-learning-/5-markdown-dreamgen.png DreamGen 在新行为与新环境上的平均得分 DreamGen 在新行为与新环境上的平均得分 https://paperbridge.wiki/paper-images/arxiv-2505-12705-zh-dreamgen-unlocking-generalization-in-robot-learning-/6-markdown.png 基准能筛模型，计算成本却限制扩张 基准能筛模型，计算成本却限制扩张 https://paperbridge.wiki/paper/arxiv-2503-14734-en-gr00t-n1-an-open-foundation-model-for-generalist-hum https://paperbridge.wiki/paper-images/arxiv-2503-14734-en-gr00t-n1-an-open-foundation-model-for-generalist-hum/1-markdown-a-pyramid-connects-broad-human-experience-to-scarce-robot-demon.png A pyramid connects broad human experience to scarce robot demonstrations A pyramid connects broad human experience to scarce robot demonstrations https://paperbridge.wiki/paper-images/arxiv-2503-14734-en-gr00t-n1-an-open-foundation-model-for-generalist-hum/2-markdown-vision-and-language-guide-a-fast-action-generator.png Vision and language guide a fast action generator Vision and language guide a fast action generator https://paperbridge.wiki/paper-images/arxiv-2503-14734-en-gr00t-n1-an-open-foundation-model-for-generalist-hum/3-markdown-training-turns-noisy-action-chunks-into-usable-motion.png Training turns noisy action chunks into usable motion Training turns noisy action chunks into usable motion https://paperbridge.wiki/paper-images/arxiv-2503-14734-en-gr00t-n1-an-open-foundation-model-for-generalist-hum/4-markdown-gr00t-n1-leads-the-tested-simulation-averages.png GR00T N1 leads the tested simulation averages GR00T N1 leads the tested simulation averages https://paperbridge.wiki/paper-images/arxiv-2503-14734-en-gr00t-n1-an-open-foundation-model-for-generalist-hum/5-markdown-real-gr-1-results-show-a-large-low-data-advantage.png Real GR-1 results show a large low-data advantage Real GR-1 results show a large low-data advantage https://paperbridge.wiki/paper-images/arxiv-2503-14734-en-gr00t-n1-an-open-foundation-model-for-generalist-hum/6-markdown-the-tested-island-is-smaller-than-general-humanoid-autonomy.png The tested island is smaller than general humanoid autonomy The tested island is smaller than general humanoid autonomy https://paperbridge.wiki/paper/arxiv-2503-14734-zh-gr00t-n1-an-open-foundation-model-for-generalist-hum https://paperbridge.wiki/paper-images/arxiv-2503-14734-zh-gr00t-n1-an-open-foundation-model-for-generalist-hum/1-markdown.png 四类经验不是等价替代，而是分工互补 四类经验不是等价替代，而是分工互补 https://paperbridge.wiki/paper-images/arxiv-2503-14734-zh-gr00t-n1-an-open-foundation-model-for-generalist-hum/2-markdown.png 慢速理解为快速动作提供条件 慢速理解为快速动作提供条件 https://paperbridge.wiki/paper-images/arxiv-2503-14734-zh-gr00t-n1-an-open-foundation-model-for-generalist-hum/3-markdown.png 预训练给起点，后训练把能力对准具体任务 预训练给起点，后训练把能力对准具体任务 https://paperbridge.wiki/paper-images/arxiv-2503-14734-zh-gr00t-n1-an-open-foundation-model-for-generalist-hum/4-markdown-100.png 100 条示范时，三套仿真基准均领先基线 100 条示范时，三套仿真基准均领先基线 https://paperbridge.wiki/paper-images/arxiv-2503-14734-zh-gr00t-n1-an-open-foundation-model-for-generalist-hum/5-markdown.png 真实机器人上，预训练显著抬高低数据起点 真实机器人上，预训练显著抬高低数据起点 https://paperbridge.wiki/paper-images/arxiv-2503-14734-zh-gr00t-n1-an-open-foundation-model-for-generalist-hum/6-markdown.png 当前证据覆盖桌面短任务，边界之外仍是问号 当前证据覆盖桌面短任务，边界之外仍是问号 https://paperbridge.wiki/paper/arxiv-2502-01143-en-asap-aligning-simulation-and-real-world-physics-for- https://paperbridge.wiki/paper-images/arxiv-2502-01143-en-asap-aligning-simulation-and-real-world-physics-for-/1-markdown-a-human-motion-passes-through-reconstruction-physics-screening-.png A human motion passes through reconstruction, physics screening, and body-shape retargeting before it becomes a robot training target. A human motion passes through reconstruction, physics screening, and body-shape retargeting before it becomes a robot training target. https://paperbridge.wiki/paper-images/arxiv-2502-01143-en-asap-aligning-simulation-and-real-world-physics-for-/2-markdown-at-each-instant-motion-phase-and-recent-proprioception-enter-a-.png At each instant, motion phase and recent proprioception enter a policy that outputs 23 target joint positions. At each instant, motion phase and recent proprioception enter a policy that outputs 23 target joint positions. https://paperbridge.wiki/paper-images/arxiv-2502-01143-en-asap-aligning-simulation-and-real-world-physics-for-/3-markdown-real-trajectories-teach-a-frozen-correction-model-the-corrected.png Real trajectories teach a frozen correction model; the corrected simulator then trains the final policy, which deploys alone. Real trajectories teach a frozen correction model; the corrected simulator then trains the final policy, which deploys alone. https://paperbridge.wiki/paper-images/arxiv-2502-01143-en-asap-aligning-simulation-and-real-world-physics-for-/4-markdown-exact-real-world-tracking-errors-for-the-baseline-and-asap-on-a.png Exact real-world tracking errors for the baseline and ASAP on a kick and an unseen LeBron motion. Exact real-world tracking errors for the baseline and ASAP on a kick and an unseen LeBron motion. https://paperbridge.wiki/paper/arxiv-2502-01143-zh-asap-aligning-simulation-and-real-world-physics-for- https://paperbridge.wiki/paper-images/arxiv-2502-01143-zh-asap-aligning-simulation-and-real-world-physics-for-/1-markdown.png 从人类视频到机器人参考动作 从人类视频到机器人参考动作 https://paperbridge.wiki/paper-images/arxiv-2502-01143-zh-asap-aligning-simulation-and-real-world-physics-for-/2-markdown.png 相位和身体感觉变成关节目标 相位和身体感觉变成关节目标 https://paperbridge.wiki/paper-images/arxiv-2502-01143-zh-asap-aligning-simulation-and-real-world-physics-for-/3-markdown.png 真实失败训练修正动作并回到模拟器 真实失败训练修正动作并回到模拟器 https://paperbridge.wiki/paper-images/arxiv-2502-01143-zh-asap-aligning-simulation-and-real-world-physics-for-/4-markdown.png 修正模型改造训练场后退出部署 修正模型改造训练场后退出部署 https://paperbridge.wiki/paper/arxiv-2410-21229-en-hover-versatile-neural-whole-body-controller-for-hum https://paperbridge.wiki/paper-images/arxiv-2410-21229-en-hover-versatile-neural-whole-body-controller-for-hum/1-markdown-human-motion-is-matched-to-robot-body-points-filtered-for-feasi.png Human motion is matched to robot body points, filtered for feasibility, and used for oracle practice. Human motion is matched to robot body points, filtered for feasibility, and used for oracle practice. https://paperbridge.wiki/paper-images/arxiv-2410-21229-en-hover-versatile-neural-whole-body-controller-for-hum/2-markdown-mode-and-body-part-masks-form-a-partial-command-the-oracle-corr.png Mode and body-part masks form a partial command; the oracle corrects the student’s joint targets. Mode and body-part masks form a partial command; the oracle corrects the student’s joint targets. https://paperbridge.wiki/paper-images/arxiv-2410-21229-en-hover-versatile-neural-whole-body-controller-for-hum/3-markdown-varied-simulated-physics-feeds-one-policy-whose-joint-targets-r.png Varied simulated physics feeds one policy, whose joint targets reach the real H1 through PD control. Varied simulated physics feeds one policy, whose joint targets reach the real H1 through PD control. https://paperbridge.wiki/paper-images/arxiv-2410-21229-en-hover-versatile-neural-whole-body-controller-for-hum/4-markdown-four-exact-table-v-comparisons-show-lower-real-robot-tracking-e.png Four exact Table V comparisons show lower real-robot tracking error for HOVER in 11 of 12 cases. Four exact Table V comparisons show lower real-robot tracking error for HOVER in 11 of 12 cases. https://paperbridge.wiki/paper/arxiv-2410-21229-zh-hover-versatile-neural-whole-body-controller-for-hum https://paperbridge.wiki/paper-images/arxiv-2410-21229-zh-hover-versatile-neural-whole-body-controller-for-hum/1-markdown-h1.png 人体动作先变成 H1 可执行的训练姿势 人体动作先变成 H1 可执行的训练姿势 https://paperbridge.wiki/paper-images/arxiv-2410-21229-zh-hover-versatile-neural-whole-body-controller-for-hum/2-markdown.png 统一指令面板用掩码选择当前要追踪的目标 统一指令面板用掩码选择当前要追踪的目标 https://paperbridge.wiki/paper-images/arxiv-2410-21229-zh-hover-versatile-neural-whole-body-controller-for-hum/3-markdown-dagger.png DAgger 蒸馏让学生在自己的轨迹上学习老师动作 DAgger 蒸馏让学生在自己的轨迹上学习老师动作 https://paperbridge.wiki/paper-images/arxiv-2410-21229-zh-hover-versatile-neural-whole-body-controller-for-hum/4-markdown.png 从随机化仿真到真机测试的证据边界 从随机化仿真到真机测试的证据边界 https://paperbridge.wiki/paper/arxiv-2406-08858-en-omnih2o-universal-and-dexterous-human-to-humanoid-wh https://paperbridge.wiki/paper-images/arxiv-2406-08858-en-omnih2o-universal-and-dexterous-human-to-humanoid-wh/1-markdown-human-motion-is-retargeted-filtered-and-augmented-with-stable-p.png Human motion is retargeted, filtered, and augmented with stable poses Human motion is retargeted, filtered, and augmented with stable poses https://paperbridge.wiki/paper-images/arxiv-2406-08858-en-omnih2o-universal-and-dexterous-human-to-humanoid-wh/2-markdown-a-privileged-teacher-supervises-a-deployable-student.png A privileged teacher supervises a deployable student A privileged teacher supervises a deployable student https://paperbridge.wiki/paper-images/arxiv-2406-08858-en-omnih2o-universal-and-dexterous-human-to-humanoid-wh/3-markdown-different-interfaces-feed-the-same-three-point-pose-command.png Different interfaces feed the same three-point pose command Different interfaces feed the same three-point pose command https://paperbridge.wiki/paper-images/arxiv-2406-08858-en-omnih2o-universal-and-dexterous-human-to-humanoid-wh/4-markdown-real-robot-demonstrations-show-breadth-while-controlled-tests-d.png Real-robot demonstrations show breadth while controlled tests define the boundary Real-robot demonstrations show breadth while controlled tests define the boundary https://paperbridge.wiki/paper/arxiv-2406-08858-zh-omnih2o-universal-and-dexterous-human-to-humanoid-wh https://paperbridge.wiki/paper-images/arxiv-2406-08858-zh-omnih2o-universal-and-dexterous-human-to-humanoid-wh/1-markdown-h1.png 人类动作先被改造成 H1 可执行的训练动作 人类动作先被改造成 H1 可执行的训练动作 https://paperbridge.wiki/paper-images/arxiv-2406-08858-zh-omnih2o-universal-and-dexterous-human-to-humanoid-wh/2-markdown.png 头和双手是目标，教师策略提供全身动作答案 头和双手是目标，教师策略提供全身动作答案 https://paperbridge.wiki/paper-images/arxiv-2406-08858-zh-omnih2o-universal-and-dexterous-human-to-humanoid-wh/3-markdown.png 学生从短期历史推断身体运动，再输出电机目标 学生从短期历史推断身体运动，再输出电机目标 https://paperbridge.wiki/paper-images/arxiv-2406-08858-zh-omnih2o-universal-and-dexterous-human-to-humanoid-wh/4-markdown.png 不同证据回答不同强度的问题 不同证据回答不同强度的问题 https://paperbridge.wiki/paper/arxiv-2502-17655-zh-volume-estimates-for-unions-of-convex-sets-and-the-k https://paperbridge.wiki/paper-images/arxiv-2502-17655-zh-volume-estimates-for-unions-of-convex-sets-and-the-k/1-tube-volume.png 细管分散后为何体积会被迫变大 白底信息图：多根细长蓝灰管在平面和三维空间中朝不同方向散开，左侧挤在一起形成较小占据区，右侧分散后铺满更大区域，箭头表示方向分散导致并集体积上升。 https://paperbridge.wiki/paper-images/arxiv-2502-17655-zh-volume-estimates-for-unions-of-convex-sets-and-the-k/2-axioms.png 两道筛子：凸盒与薄板分别在看什么 白底机制图：同一组细管从中间分流到两个筛选面板，左侧是凸形盒子框住的管族统计，右侧是薄板状区域中的平行堆叠统计，蓝色箭头表示两类约束分别阻止不同类型的聚集。 https://paperbridge.wiki/paper-images/arxiv-2502-17655-zh-volume-estimates-for-unions-of-convex-sets-and-the-k/3-scale-bootstrap.png 从一个尺度到所有尺度的递推接力 白底分层示意图：大尺度粗管中嵌套中尺度管，中尺度管中再包含更细管，旁边用双向箭头连接 𝒟 与 ℰ，蓝色箭头表示从粗到细、从细到粗的递推。 https://paperbridge.wiki/paper-images/arxiv-2502-17655-zh-volume-estimates-for-unions-of-convex-sets-and-the-k/4-grain-structure.png 接近极限时，管族会长成谷粒状层级结构 白底结构图：一团细管被分成多个小块谷粒，每个谷粒在中尺度上像细长薄条，缩回原尺度后显示黏连和层级嵌套，蓝色细线连接相邻谷粒。 https://paperbridge.wiki/paper-images/arxiv-2502-17655-zh-volume-estimates-for-unions-of-convex-sets-and-the-k/5-three-dim-conclusion-kakeya-3.png 从体积下界到三维 Kakeya 集维数等于 3 白底结论图：一个三维空间中，每个方向都有一条单位线段组成的集合被半透明蓝色包络包住，旁边以简洁的维数阶梯表示它不能被压得更薄，最终指向“3”。 https://paperbridge.wiki/paper/arxiv-2505-13211-zh-magi-1-autoregressive-video-generation-at-scale https://paperbridge.wiki/paper-images/arxiv-2505-13211-zh-magi-1-autoregressive-video-generation-at-scale/1-chunk-clock.png 按时间块前进的生成队列 白色画布上的科研说明图：一条向右推进的视频时间轴被分成多个等长块，前面的块已经点亮并锁定，后面的块依次生成；右上角显示最多并行处理4个块的窄条队列。 https://paperbridge.wiki/paper-images/arxiv-2505-13211-zh-magi-1-autoregressive-video-generation-at-scale/2-noise-ladder.png 噪声台阶沿着时间向前走 白色背景上的机制示意图：多个视频块沿时间方向排列，每个块上方是一条逐级降低噪声的梯子，越靠后的块在噪声日程上标记得越“晚”，展示先稳定前文再传给后文。 https://paperbridge.wiki/paper-images/arxiv-2505-13211-zh-magi-1-autoregressive-video-generation-at-scale/3-one-system-many-tasks.png 一套框架切换三种任务 白底的统一框架图：同一条生成流水线通过改变干净块与噪声块的比例，分别对应文本到视频、图像到视频和视频续写；首帧干净的图像到视频被画成续写特例。 https://paperbridge.wiki/paper-images/arxiv-2505-13211-zh-magi-1-autoregressive-video-generation-at-scale/4-make-it-scale.png 压缩、注意力与推理窗口一起支撑规模化 白底机制图：视频先进入 Transformer-based VAE 压缩到潜空间，再由带多个注意力与归一化组件的 DiT 处理；右侧显示滑动窗口推理和三阶段分辨率训练的路径。 https://paperbridge.wiki/paper-images/arxiv-2505-13211-zh-magi-1-autoregressive-video-generation-at-scale/5-keep-the-video-moving.png 用引导与蒸馏压住接缝和闪烁 白底比较图：左边显示较弱前文引导时相邻块错位，中间显示更强引导后块间对齐更好，右边显示蒸馏后可在64、32、16、8步之间切换，并用后段减弱引导来抑制长视频伪影。 https://paperbridge.wiki/paper/arxiv-2503-20523-zh-gaia-2-controllable-multi-view-generative-world-model https://paperbridge.wiki/paper-images/arxiv-2503-20523-zh-gaia-2-controllable-multi-view-generative-world-model/1-markdown.png 普通视频生成与自动驾驶世界模型的要求对比 普通视频生成与自动驾驶世界模型的要求对比 https://paperbridge.wiki/paper-images/arxiv-2503-20523-zh-gaia-2-controllable-multi-view-generative-world-model/2-markdown.png 五个视角必须对应同一个共享世界 五个视角必须对应同一个共享世界 https://paperbridge.wiki/paper-images/arxiv-2503-20523-zh-gaia-2-controllable-multi-view-generative-world-model/3-markdown-gaia-2.png GAIA-2 的输入、潜空间、条件控制、去噪与输出流程 GAIA-2 的输入、潜空间、条件控制、去噪与输出流程 https://paperbridge.wiki/paper-images/arxiv-2503-20523-zh-gaia-2-controllable-multi-view-generative-world-model/4-markdown.png 五类控制共同约束合成驾驶场景 五类控制共同约束合成驾驶场景 https://paperbridge.wiki/paper-images/arxiv-2503-20523-zh-gaia-2-controllable-multi-view-generative-world-model/5-markdown.png 从零生成、续写未来、局部补绘和场景编辑 从零生成、续写未来、局部补绘和场景编辑 https://paperbridge.wiki/paper-images/arxiv-2503-20523-zh-gaia-2-controllable-multi-view-generative-world-model/6-markdown.png 论文已展示的能力与真实闭环部署之间的证据边界 论文已展示的能力与真实闭环部署之间的证据边界 https://paperbridge.wiki/paper/arxiv-2601-20540-en-arxiv-2601-20540-plain-english-guide https://paperbridge.wiki/paper-images/arxiv-2601-20540-en-arxiv-2601-20540-plain-english-guide/1-why-video-models-fall-short-a-believable-clip-versus-a-living-world.png A believable clip versus a living world A white-canvas illustration showing two side-by-side video sequences of the same scene: one sequence stays coherent as a ball rolls, a person walks, and a door remains where it was; the other sequence looks visually plausible frame by frame but objects change position inconsistently, the ball disappears, and the door location drifts. Blue arrows indicate cause and effect across time. Short labels only: "Dreamer", "Simulator", "Memory", "Cause", "Effect". https://paperbridge.wiki/paper-images/arxiv-2601-20540-en-arxiv-2601-20540-plain-english-guide/2-building-the-training-data-three-sources-become-one-training-pipeline.png Three sources become one training pipeline A white-canvas infographic showing three input streams—general videos, game recordings with W A S D controls, and Unreal Engine synthetic clips—flowing into filtering, segmentation, and hierarchical captioning, then into a training-ready dataset. Small boxes show broad narrative, scene-level description, and dense time-window captions. Short labels only: "Web video", "Game video", "Unreal", "Filter", "Slice", "Narrative", "Scene", "Dense", "Train". https://paperbridge.wiki/paper-images/arxiv-2601-20540-en-arxiv-2601-20540-plain-english-guide/3-three-stage-training-from-short-clips-to-long-horizon-control.png From short clips to long-horizon control A white-canvas mechanism diagram showing three connected stages. Stage 1 starts with short video clips and produces a base video model. Stage 2 stretches to longer sequences and adds a two-expert mixture-of-experts branch plus action controls from camera rotation embeddings and W A S D inputs. Stage 3 converts the model to causal block attention and few-step distillation for faster streaming generation. Short labels only: "Stage 1", "Stage 2", "Stage 3", "Short clips", "Long clips", "MoE", "Camera", "W A S D", "Causal", "Distill", "Stream". https://paperbridge.wiki/paper-images/arxiv-2601-20540-en-arxiv-2601-20540-plain-english-guide/4-what-the-model-can-do-what-the-simulator-can-keep-and-change-over-time.png What the simulator can keep and change over time A scientific illustration on a white canvas showing a generated outdoor world across time: winter turns to a different style, local objects like fireworks, fish, and birds appear, and a landmark reappears after being out of view. A long strip shows the same scene staying coherent across many moments. Short labels only: "Winter", "Pixel art", "Fireworks", "Fish", "Birds", "Landmark", "Out of view", "Return", "Long scene". https://paperbridge.wiki/paper-images/arxiv-2601-20540-en-arxiv-2601-20540-plain-english-guide/5-what-this-enables-and-does-not-uses-on-one-side-remaining-limits-on-the-.png Uses on one side, remaining limits on the other A white-canvas comparison illustration with two columns. The left column shows open-source use cases such as interactive world-building, embodied AI training, and video-based 3D reconstruction, each represented by a small scene. The right column shows unresolved limits such as drift, limited action space, high compute, and no multi-agent interaction, represented by fading trails, a single steering hand, a large GPU cluster silhouette, and one character only. Short labels only: "Build", "Train", "Reconstruct", "Drift", "Limited actions", "High compute", "Single agent". https://paperbridge.wiki/paper/arxiv-2602-12215-zh-arxiv-2602-12215 https://paperbridge.wiki/paper-images/arxiv-2602-12215-zh-arxiv-2602-12215/1-why-unify.png 把碎片数据放进同一个入口 白色画布上的信息图：左侧有三类具身数据卡片，分别标注“高质示范”“低质轨迹”“仿真/第一人称视频”，它们通过三条蓝色箭头汇入中间的统一入口；入口右侧分成两条通道，一条写“物体变化”，另一条写“画面外观”，并用对比方式说明直接在像素里预测会把两者混在一起，造成训练更慢、更难扩展。 https://paperbridge.wiki/paper-images/arxiv-2602-12215-zh-arxiv-2602-12215/2-data-and-representation.png 先把输入整理成同一种语言 白色画布上的流程图：左侧是EI-30k数据池，包含真实机器人、仿真、有人动作的第一人称视频、无动作第一人称视频；这些数据经过动作表示对齐和标准化后，进入DINO latent space中的结构化表示，再到未来状态预测模块。图中强调模型关注“物体关系和变化”，而不是颜色纹理背景。 https://paperbridge.wiki/paper-images/arxiv-2602-12215-zh-arxiv-2602-12215/3-joint-training.png 一个模型同时学动作、动力学和未来画面 白色画布上的多任务训练示意图：上方是动作流，下方是视觉流，二者以不同频率进入同一个多模态扩散Transformer；旁边有四个任务嵌入和两个注册token作为调度器，连接动作、前向动力学、逆向动力学和视觉预测四个目标。图中显示高质量示范进入全部目标，低质量轨迹只进入动力学与视觉预测。 https://paperbridge.wiki/paper-images/arxiv-2602-12215-zh-arxiv-2602-12215/4-what-the-results-say.png 哪些任务提升最明显 白色画布上的对比插图：左侧是多个任务族群图标，标注“接触密集”“灵巧”“长时程”；右侧是真实机器人任务卡片和基线卡片的并列结果，其中“Clean the Rubbish”“PnP Bottle To Cabinet Close”“PnP Can To Drawer Close”被突出显示，显示论文方法的成功更高。 https://paperbridge.wiki/paper-images/arxiv-2602-12215-zh-arxiv-2602-12215/5-limits-and-reading.png 这套方法能到哪里，不能到哪里 白色画布上的边界与阶段图：左侧是具身交互数据范围，右侧是被排除的互联网规模VQA；中间标出像素空间之外的当前实现，以及偏向 egocentric camera 和特定机器人平台的实验环境。下方用两段式示意表示训练早期目标之间轻微冲突，后期变成对齐。 https://paperbridge.wiki/paper/arxiv-2506-05343-zh-arxiv-2506-05343 https://paperbridge.wiki/paper-images/arxiv-2506-05343-zh-arxiv-2506-05343/1-why-this-needs-a-new-route.png 两阶段旧路为什么卡住 白底信息图：左边是单张图像生成模块，右边是视频生成模块，视频模块旁边堆着更长的时间轴、更高分辨率和更大的显存负担，下面还有低质量重复视频样本把结果拉低的提示。 https://paperbridge.wiki/paper-images/arxiv-2506-05343-zh-arxiv-2506-05343/2-data-and-base-model.png 底座与数据一起重做 白底机制图：Stable Diffusion 3.5 Large 作为底座，2D-VAE 被替换为 3D-VAE 并加入 3D 位置编码；另一侧是一条数据清洗流水线，经过分镜、去重、字幕/水印检测、模糊与动态评分、审美评分后输出更干净的视频剪辑。 https://paperbridge.wiki/paper-images/arxiv-2506-05343-zh-arxiv-2506-05343/3-how-the-training-is-staged.png 分阶段把难题拆开 白底流程插图：Stage1、Stage2、Stage3、SFT 排成前后相接的训练台阶，前面是低分辨率短视频，中间变成长视频，后面再变成更高分辨率；旁边有学习率下降和 KL 约束的护栏。 https://paperbridge.wiki/paper-images/arxiv-2506-05343-zh-arxiv-2506-05343/4-rlhf-and-efficiency-tricks-rlhf.png RLHF 在算力里找平衡 白底机制图：生成视频长度从 125 帧压到 29 帧，只解码首帧；旁边配有动态分桶、checkpointing、3D 并行、FSDP、HYBRIDSHARD 的模块，表达在有限内存中保住优化方向。 https://paperbridge.wiki/paper-images/arxiv-2506-05343-zh-arxiv-2506-05343/5-what-the-results-say.png 不同阶段补不同短板 白底对比信息图：Pretrain、SFT、RLHF 三个阶段分别对 VBench、TA、VQ 和人类偏好产生不同提升，用分开的结果卡片表现对齐和整体观感的区别。 https://paperbridge.wiki/paper/arxiv-2606-00133-zh-world-models-a-comprehensive-survey-of-architectures https://paperbridge.wiki/paper-images/arxiv-2606-00133-zh-world-models-a-comprehensive-survey-of-architectures/1-research-paper-visual.png 为什么世界模型需要统一框架 一张白底信息图，展示世界模型研究分散在强化学习、机器人、自动驾驶、视频生成、科学建模、医学影像、教育测量和金融等多个圆形区域，中间有一个空白的统一框架位置，旁边用箭头指向四个分类轴：架构、方法族、推理策略、应用领域。 https://paperbridge.wiki/paper-images/arxiv-2606-00133-zh-world-models-a-comprehensive-survey-of-architectures/2-research-paper-visual.png 传统做法如何把世界压成潜在状态 一张白底机制图，展示观测进入编码器，被压缩成潜在状态，再送入动力学模型预测下一步潜在状态，旁边显示可选解码器重建图像；底部标出重建模糊和长时误差累积。 https://paperbridge.wiki/paper-images/arxiv-2606-00133-zh-world-models-a-comprehensive-survey-of-architectures/3-research-paper-visual.png 论文的四维分类法：怎么把领域排整齐 一张白底四象限/四轴信息图，中央是世界模型，四周展开四个分类维度：架构、方法族、推理策略、应用领域；每个维度下放几个代表性节点，如表示形式、动力学、输入模态、学习范式、state-space、RNN、Transformer、diffusion、物理约束、语言增强、想象规划、反事实、层级规划、机器人、自动驾驶、视频生成、医疗等。 https://paperbridge.wiki/paper-images/arxiv-2606-00133-zh-world-models-a-comprehensive-survey-of-architectures/4-research-paper-visual.png 从潜在空间到想象推理 一张白底双层空间机制图，上半部分是真实观测序列进入编码器后变成潜在状态，下半部分是在潜在空间中展开的想象轨迹，轨迹上连接规划、反事实和链式思维融合的节点，右侧输出决策或预测。 https://paperbridge.wiki/paper-images/arxiv-2606-00133-zh-world-models-a-comprehensive-survey-of-architectures/5-research-paper-visual.png 为什么不同表示各有代价 一张白底对照图，左右比较像素空间、连续潜空间、离散潜空间、对象中心表示和表示空间预测五条路线，各自对应优点和代价；底部用警示图标表示误差累积、量化瓶颈、评估碎片化。 https://paperbridge.wiki/paper-images/arxiv-2606-00133-zh-world-models-a-comprehensive-survey-of-architectures/6-research-paper-visual.png 这些方法最后会落到什么系统 一张白底应用地图，中央是世界模型，向外连接机器人、自动驾驶、视频生成、医学、交互模拟和评测平台；每个终端带有一个小场景图标，表示规划、模拟、个性化预测和安全部署。 https://paperbridge.wiki/paper/arxiv-2303-00023-zh-arxiv-2303-00023 https://paperbridge.wiki/paper-images/arxiv-2303-00023-zh-arxiv-2303-00023/1-research-paper-visual.png 周期盒上的涡旋—平均流耦合问题 白底科学示意图，二维周期方形区域中，一条较平滑的平均西风带与叠加其上的小尺度涡旋扰动同时存在，右侧标出 β-plane 的纬向变化，箭头表示扰动与平均流相互作用。 https://paperbridge.wiki/paper-images/arxiv-2303-00023-zh-arxiv-2303-00023/2-research-paper-visual.png 直接写原方程时的困难 白底机制对照图，中心是一组相互缠绕的方程模块：对流、β 项和黏性项都指向同一个涡度变量，旁边用醒目蓝色箭头指出耦合过紧、难以直接闭合。 https://paperbridge.wiki/paper-images/arxiv-2303-00023-zh-arxiv-2303-00023/3-duhamel.png 先拆成平均流与扰动，再用 Duhamel 改写 白底流程图，左侧是初始变量分成两支：平均流和涡旋扰动；中间变成积分形式与映射符号；右侧指向局部压缩映射与迭代延拓。 https://paperbridge.wiki/paper-images/arxiv-2303-00023-zh-arxiv-2303-00023/4-research-paper-visual.png 频域里按模态分工估计非线性项 白底频域分解示意图，一串傅里叶模态点沿横轴展开，被分成高低与相近三类区域；每一类旁边都有独立的估计路径，最后汇入一个受控的上界框。 https://paperbridge.wiki/paper-images/arxiv-2303-00023-zh-arxiv-2303-00023/5-research-paper-visual.png 局部压缩映射与全局延拓各自依赖什么条件 白底并列比较图，左栏是短时间局部证明，右栏是长时间迭代延拓；中间用条件标签连接，底部用受限区域框出周期盒、正黏性和正则性要求。 https://paperbridge.wiki/paper-images/arxiv-2303-00023-zh-arxiv-2303-00023/6-research-paper-visual.png 如果把证明思路转成算法，最该保留什么 白底实践流程图，左侧是平均模与非零模分离，中间是短步长推进与频域滤波，右侧是稳定性检查与误差监控，整体像给数值实现的教学路线图。 https://paperbridge.wiki/paper/arxiv-2607-19331-zh-iso-an-rlvr-native-optimization-stack https://paperbridge.wiki/paper-images/arxiv-2607-19331-zh-iso-an-rlvr-native-optimization-stack/1-rlvr.png 为什么 RLVR 优化层值得重看 白底科研示意图，展示一个基座模型经过 RLVR 后形成的权重矩阵，矩阵被分解为奇异值和两个奇异帧，旁边用箭头说明奖励反馈写入模型时，作者关注的是哪些部分保持不变、哪些部分改变。 https://paperbridge.wiki/paper-images/arxiv-2607-19331-zh-iso-an-rlvr-native-optimization-stack/2-research-paper-visual.png 直接在权重空间更新会看不见结构 白底示意图，左侧是传统训练直接对整个权重矩阵进行更新，右侧显示结果只能看到整体矩阵变化而看不到谱与帧的分工。 https://paperbridge.wiki/paper-images/arxiv-2607-19331-zh-iso-an-rlvr-native-optimization-stack/3-iso.png ISO 的固定谱参数化 白底方法图，中间是一块固定的奇异值条带 Σ0，两侧是可学习的 U 和 V 框架，箭头表示只有帧变化，谱保持不变。 https://paperbridge.wiki/paper-images/arxiv-2607-19331-zh-iso-an-rlvr-native-optimization-stack/4-iso-merger-iso-optimizer.png ISO-Merger 与 ISO-Optimizer 的分工 白底双栏方法图，左侧展示多个共享基座专家在无数据条件下合并，右侧展示在线训练时对 U 和 V 做优化并经由 polar retraction 返回固定谱流形。 https://paperbridge.wiki/paper-images/arxiv-2607-19331-zh-iso-an-rlvr-native-optimization-stack/5-research-paper-visual.png 实验支持了什么，没支持什么 白底对照图，左侧显示恢复基谱并保留学到的帧能够保住大部分效果，右侧显示只改 singular values 的效果较弱；底部用警示图标标出证据范围有限。 https://paperbridge.wiki/paper-images/arxiv-2607-19331-zh-iso-an-rlvr-native-optimization-stack/6-iso.png 把 ISO 放进训练流水线时会发生什么 白底系统流程图，展示训练时优化器更新 U 和 V，随后进行 polar retraction，再返回下一步；旁边显示额外开销与更少训练步数之间的权衡。 https://paperbridge.wiki/paper/arxiv-1606-01540-zh-openai-gym https://paperbridge.wiki/paper-images/arxiv-1606-01540-zh-openai-gym/1-research-paper-visual.png 为什么强化学习需要统一基准 白底信息图，展示多个强化学习任务散落在不同角落，研究者在不同任务间来回切换，难以直接比较结果。 https://paperbridge.wiki/paper-images/arxiv-1606-01540-zh-openai-gym/2-research-paper-visual.png 没有统一环境时，算法对接会发生什么 白底对照式信息图，左边是多个任务各自独立接入，右边是研究者为每个任务重复适配和记录。 https://paperbridge.wiki/paper-images/arxiv-1606-01540-zh-openai-gym/3-gym.png Gym 的统一环境接口 白底信息图，多个环境族通过同一接口层连接到研究者和算法模块。 https://paperbridge.wiki/paper-images/arxiv-1606-01540-zh-openai-gym/4-research-paper-visual.png 版本号和监控怎样帮助复现 白底信息图，环境版本演化、监控记录、视频和学习曲线被保存成可追踪证据。 https://paperbridge.wiki/paper-images/arxiv-1606-01540-zh-openai-gym/5-research-paper-visual.png 统一基准带来的好处与仍然存在的风险 白底比较图，一边是零散基准和单一最终分数，另一边是 Gym 的统一接口、共享结果与版本追踪，同时标出局限。 https://paperbridge.wiki/paper-images/arxiv-1606-01540-zh-openai-gym/6-gym.png 一个研究团队如何在 Gym 里工作 白底流程图，一个研究团队从选择环境、接入算法到记录结果并分享到网站。 https://paperbridge.wiki/paper/zh-2607-19331v1 https://paperbridge.wiki/paper-images/zh-2607-19331v1/1-rlvr.png 为什么RLVR里的“复用什么、改什么”值得单独分开看 白色画布上的教学信息图，展示奖励反馈进入RLVR训练后，模型参数更新分成两条路径：一条保留来自基模型的结构，另一条改变可学习部分。 https://paperbridge.wiki/paper-images/zh-2607-19331v1/2-rlvr.png 传统RLVR如何把奖励直接写进整组权重 白底教学图，比较标准优化器在普通权重空间里的更新方式：所有参数一起被推着走，复用和改写混在一起。 https://paperbridge.wiki/paper-images/zh-2607-19331v1/3-a-iso.png ISO把权重拆成“固定谱 + 可学习框架” 白底机制图，展示一个权重矩阵被分解成固定的奇异值谱和左右可学习框架，谱保持不变，框架承担变化。 https://paperbridge.wiki/paper-images/zh-2607-19331v1/4-b-iso-optimizer.png ISO-Optimizer怎样把现成优化器搬到框架变量上 白底流程图，展示AdamW或Muon不再直接更新整个权重，而是更新框架变量，随后通过重构回到固定谱约束下。 https://paperbridge.wiki/paper-images/zh-2607-19331v1/5-iso-merger-iso-optimizer.png ISO-Merger、ISO-Optimizer 与常见替代方案的取舍 白底对比信息图，左侧是数据无关的checkpoint合并路线，中间是ISO路径，右侧是常见训练/合并基线，标出各自依赖与限制。 https://paperbridge.wiki/paper-images/zh-2607-19331v1/6-research-paper-visual.png 这项工作对训练栈意味着什么 白底收束图，展示共享基座上多个RL专家经由ISO思路走向更少步数的适配和更轻量的合并，强调工程意义与边界。 https://paperbridge.wiki/paper/arxiv-2607-18209-zh-unveiling-invariant-and-transferable-latent-factors- https://paperbridge.wiki/paper-images/arxiv-2607-18209-zh-unveiling-invariant-and-transferable-latent-factors-/1-markdown.png 三个环境的观测变量被拆为共享因子与环境特异因子 三个环境的观测变量被拆为共享因子与环境特异因子 https://paperbridge.wiki/paper-images/arxiv-2607-18209-zh-unveiling-invariant-and-transferable-latent-factors-/2-markdown-atlas.png ATLAS 先对齐潜在因素，再用辅助标签筛选可迁移信号 ATLAS 先对齐潜在因素，再用辅助标签筛选可迁移信号 https://paperbridge.wiki/paper-images/arxiv-2607-18209-zh-unveiling-invariant-and-transferable-latent-factors-/3-markdown.png 新环境有无辅助标签时采用不同信号路径 新环境有无辅助标签时采用不同信号路径 https://paperbridge.wiki/paper/zh-arxiv-org-2 https://paperbridge.wiki/paper-images/zh-arxiv-org-2/1-markdown.png 从局部夹逼到二形式消失的机制图 从局部夹逼到二形式消失的机制图 https://paperbridge.wiki/paper-images/zh-arxiv-org-2/2-markdown.png 同一个夹逼条件通向两条结论路线 同一个夹逼条件通向两条结论路线 https://paperbridge.wiki/paper-images/zh-arxiv-org-2/3-markdown.png 严格阈值与等号端点的不同命运 严格阈值与等号端点的不同命运 https://paperbridge.wiki/paper/zh-iopscience-iop-org https://paperbridge.wiki/paper-images/zh-iopscience-iop-org/1-markdown.png 柴油、纯电与氢燃料电池的能量路径 柴油、纯电与氢燃料电池的能量路径 https://paperbridge.wiki/paper-images/zh-iopscience-iop-org/2-markdown.png 总拥有成本的组成 总拥有成本的组成 https://paperbridge.wiki/paper-images/zh-iopscience-iop-org/3-markdown.png 不同路线与时间下的候选技术 不同路线与时间下的候选技术 https://paperbridge.wiki/paper/arxiv-2202-11214-zh-fourcastnet-a-global-data-driven-high-resolution-wea https://paperbridge.wiki/paper-images/arxiv-2202-11214-zh-fourcastnet-a-global-data-driven-high-resolution-wea/1-markdown.png 粗细网格为何影响可见的天气结构 粗细网格为何影响可见的天气结构 https://paperbridge.wiki/paper-images/arxiv-2202-11214-zh-fourcastnet-a-global-data-driven-high-resolution-wea/2-markdown.png 多个大气变量共同描述一个天气状态 多个大气变量共同描述一个天气状态 https://paperbridge.wiki/paper-images/arxiv-2202-11214-zh-fourcastnet-a-global-data-driven-high-resolution-wea/3-markdown-fourcastnet.png FourCastNet 的单步变换 FourCastNet 的单步变换 https://paperbridge.wiki/paper-images/arxiv-2202-11214-zh-fourcastnet-a-global-data-driven-high-resolution-wea/4-markdown.png 自回归滚动预报 自回归滚动预报 https://paperbridge.wiki/paper-images/arxiv-2202-11214-zh-fourcastnet-a-global-data-driven-high-resolution-wea/5-markdown.png 速度如何转化为集合预报能力 速度如何转化为集合预报能力 https://paperbridge.wiki/paper/arxiv-2211-02556-zh-pangu-weather-a-3d-high-resolution-model-for-fast-an https://paperbridge.wiki/paper-images/arxiv-2211-02556-zh-pangu-weather-a-3d-high-resolution-model-for-fast-an/1-markdown.png 从三维大气到一周预报的总览 从三维大气到一周预报的总览 https://paperbridge.wiki/paper-images/arxiv-2211-02556-zh-pangu-weather-a-3d-high-resolution-model-for-fast-an/2-markdown.png 二维切片与三维大气的差别 二维切片与三维大气的差别 https://paperbridge.wiki/paper-images/arxiv-2211-02556-zh-pangu-weather-a-3d-high-resolution-model-for-fast-an/3-markdown-transformer.png 三维地球专用 Transformer 三维地球专用 Transformer https://paperbridge.wiki/paper-images/arxiv-2211-02556-zh-pangu-weather-a-3d-high-resolution-model-for-fast-an/4-markdown.png 四种时间步长如何接力 四种时间步长如何接力 https://paperbridge.wiki/paper-images/arxiv-2211-02556-zh-pangu-weather-a-3d-high-resolution-model-for-fast-an/5-markdown.png 证据与限制放在同一张图里 证据与限制放在同一张图里 https://paperbridge.wiki/paper/arxiv-2212-12794-zh-graphcast-learning-skillful-medium-range-global-weat https://paperbridge.wiki/paper-images/arxiv-2212-12794-zh-graphcast-learning-skillful-medium-range-global-weat/1-markdown-graphcast.png GraphCast 的一句话全景：两帧天气进入球面图，滚动得到十天预报 GraphCast 的一句话全景：两帧天气进入球面图，滚动得到十天预报 https://paperbridge.wiki/paper-images/arxiv-2212-12794-zh-graphcast-learning-skillful-medium-range-global-weat/2-markdown-graphcast.png 传统数值预报与 GraphCast 的两条路径 传统数值预报与 GraphCast 的两条路径 https://paperbridge.wiki/paper-images/arxiv-2212-12794-zh-graphcast-learning-skillful-medium-range-global-weat/3-markdown-40.png 两帧输入如何滚动成 40 步天气轨迹 两帧输入如何滚动成 40 步天气轨迹 https://paperbridge.wiki/paper-images/arxiv-2212-12794-zh-graphcast-learning-skillful-medium-range-global-weat/4-markdown.png 多尺度球面图：短边负责局部，长边负责远距传播 多尺度球面图：短边负责局部，长边负责远距传播 https://paperbridge.wiki/paper-images/arxiv-2212-12794-zh-graphcast-learning-skillful-medium-range-global-weat/5-markdown.png 结果与限制：领先区域、灾害场景和确定性预报盲点 结果与限制：领先区域、灾害场景和确定性预报盲点 https://paperbridge.wiki/paper/zh-robust-deep-learning-based-protein-sequence-design-using-proteinmpnn https://paperbridge.wiki/paper-images/zh-robust-deep-learning-based-protein-sequence-design-using-proteinmpnn/1-markdown-proteinmpnn.png ProteinMPNN 把骨架翻译成序列 ProteinMPNN 把骨架翻译成序列 https://paperbridge.wiki/paper-images/zh-robust-deep-learning-based-protein-sequence-design-using-proteinmpnn/2-markdown.png 正向预测与反向设计的区别 正向预测与反向设计的区别 https://paperbridge.wiki/paper-images/zh-robust-deep-learning-based-protein-sequence-design-using-proteinmpnn/3-markdown.png 骨架图编码与序列解码 骨架图编码与序列解码 https://paperbridge.wiki/paper-images/zh-robust-deep-learning-based-protein-sequence-design-using-proteinmpnn/4-markdown.png 固定功能位点与绑定对称位置 固定功能位点与绑定对称位置 https://paperbridge.wiki/paper-images/zh-robust-deep-learning-based-protein-sequence-design-using-proteinmpnn/5-markdown.png 从计算候选到实验验证 从计算候选到实验验证 https://paperbridge.wiki/paper/zh-nature-com-3 https://paperbridge.wiki/paper-images/zh-nature-com-3/1-markdown.png 从预测到设计 从预测到设计 https://paperbridge.wiki/paper-images/zh-nature-com-3/2-markdown.png 三维残基框架如何逐步去噪成蛋白质骨架 三维残基框架如何逐步去噪成蛋白质骨架 https://paperbridge.wiki/paper-images/zh-nature-com-3/3-markdown.png 功能基序、结合热点和对称性三类条件控制 功能基序、结合热点和对称性三类条件控制 https://paperbridge.wiki/paper-images/zh-nature-com-3/4-markdown.png 从骨架生成、序列设计、计算筛选到湿实验验证 从骨架生成、序列设计、计算筛选到湿实验验证 https://paperbridge.wiki/paper-images/zh-nature-com-3/5-markdown.png 大量计算候选只有少数能通过实验检验 大量计算候选只有少数能通过实验检验 https://paperbridge.wiki/paper/zh-accurate-prediction-of-protein-structures-and-interactions-using-a-th https://paperbridge.wiki/paper-images/zh-accurate-prediction-of-protein-structures-and-interactions-using-a-th/1-markdown.png 三条信息轨道总览 三条信息轨道总览 https://paperbridge.wiki/paper-images/zh-accurate-prediction-of-protein-structures-and-interactions-using-a-th/2-markdown.png 两轨与三轨的差别 两轨与三轨的差别 https://paperbridge.wiki/paper-images/zh-accurate-prediction-of-protein-structures-and-interactions-using-a-th/3-markdown.png 三轨反复交换并修正 三轨反复交换并修正 https://paperbridge.wiki/paper-images/zh-accurate-prediction-of-protein-structures-and-interactions-using-a-th/4-markdown.png 从基准到实验应用的证据链 从基准到实验应用的证据链 https://paperbridge.wiki/paper-images/zh-accurate-prediction-of-protein-structures-and-interactions-using-a-th/5-markdown.png 能力边界与使用风险 能力边界与使用风险 https://paperbridge.wiki/paper/zh-evolutionary-scale-prediction-of-atomic-level-protein-structure-with- https://paperbridge.wiki/paper-images/zh-evolutionary-scale-prediction-of-atomic-level-protein-structure-with-/1-markdown-esmfold.png 传统比对路线与 ESMFold 单序列路线的对比 传统比对路线与 ESMFold 单序列路线的对比 https://paperbridge.wiki/paper-images/zh-evolutionary-scale-prediction-of-atomic-level-protein-structure-with-/2-markdown.png 模型扩大时，序列理解与结构信息同步改善 模型扩大时，序列理解与结构信息同步改善 https://paperbridge.wiki/paper-images/zh-evolutionary-scale-prediction-of-atomic-level-protein-structure-with-/3-markdown-esmfold.png ESMFold 从单条序列到结构与置信度的流程 ESMFold 从单条序列到结构与置信度的流程 https://paperbridge.wiki/paper-images/zh-evolutionary-scale-prediction-of-atomic-level-protein-structure-with-/4-markdown.png 用置信度给预测结果分流 用置信度给预测结果分流 https://paperbridge.wiki/paper-images/zh-evolutionary-scale-prediction-of-atomic-level-protein-structure-with-/5-markdown-esmfold.png ESMFold 批量建立宏基因组结构图谱 ESMFold 批量建立宏基因组结构图谱 https://paperbridge.wiki/paper/zh-nature-com-2 https://paperbridge.wiki/paper-images/zh-nature-com-2/1-markdown-af3.png AF3 把多种分子放进同一个结构预测框架 AF3 把多种分子放进同一个结构预测框架 https://paperbridge.wiki/paper-images/zh-nature-com-2/2-markdown.png 从序列与化学描述到三维复合物的推理流程 从序列与化学描述到三维复合物的推理流程 https://paperbridge.wiki/paper-images/zh-nature-com-2/3-markdown.png 扩散过程如何从随机原子逐步得到复合物 扩散过程如何从随机原子逐步得到复合物 https://paperbridge.wiki/paper-images/zh-nature-com-2/4-markdown.png 不同分子类别上的证据与比较对象 不同分子类别上的证据与比较对象 https://paperbridge.wiki/paper-images/zh-nature-com-2/5-markdown-af3.png AF3 的主要限制与使用时检查项 AF3 的主要限制与使用时检查项 https://paperbridge.wiki/paper/arxiv-2501-03575-zh-cosmos-world-foundation-model-platform-for-physical- https://paperbridge.wiki/paper-images/arxiv-2501-03575-zh-cosmos-world-foundation-model-platform-for-physical-/1-markdown.png 真实试错与数字世界中的安全筛选 真实试错与数字世界中的安全筛选 https://paperbridge.wiki/paper-images/arxiv-2501-03575-zh-cosmos-world-foundation-model-platform-for-physical-/2-markdown-cosmos.png Cosmos 平台从视频到专用模型的完整路径 Cosmos 平台从视频到专用模型的完整路径 https://paperbridge.wiki/paper-images/arxiv-2501-03575-zh-cosmos-world-foundation-model-platform-for-physical-/3-markdown-tokenizer.png 因果视频 tokenizer 只使用过去与现在 因果视频 tokenizer 只使用过去与现在 https://paperbridge.wiki/paper-images/arxiv-2501-03575-zh-cosmos-world-foundation-model-platform-for-physical-/4-markdown.png 大规模预训练把通用底座变成三类专用模型 大规模预训练把通用底座变成三类专用模型 https://paperbridge.wiki/paper-images/arxiv-2501-03575-zh-cosmos-world-foundation-model-platform-for-physical-/5-markdown.png 视觉合理不代表物理可靠 视觉合理不代表物理可靠 https://paperbridge.wiki/paper/arxiv-2408-14837-zh-diffusion-models-are-real-time-game-engines https://paperbridge.wiki/paper-images/arxiv-2408-14837-zh-diffusion-models-are-real-time-game-engines/1-markdown-gamengen.png 传统引擎与 GameNGen 的循环对比 传统引擎与 GameNGen 的循环对比 https://paperbridge.wiki/paper-images/arxiv-2408-14837-zh-diffusion-models-are-real-time-game-engines/2-markdown-gamengen.png GameNGen 的两阶段训练 GameNGen 的两阶段训练 https://paperbridge.wiki/paper-images/arxiv-2408-14837-zh-diffusion-models-are-real-time-game-engines/3-markdown.png 噪声增强如何抑制误差累积 噪声增强如何抑制误差累积 https://paperbridge.wiki/paper-images/arxiv-2408-14837-zh-diffusion-models-are-real-time-game-engines/4-markdown.png 四步去噪的实时推理预算 四步去噪的实时推理预算 https://paperbridge.wiki/paper-images/arxiv-2408-14837-zh-diffusion-models-are-real-time-game-engines/5-markdown.png 短历史无法完整保存隐藏状态 短历史无法完整保存隐藏状态 https://paperbridge.wiki/paper/arxiv-2405-12399-zh-diffusion-for-world-modeling-visual-details-matter-i https://paperbridge.wiki/paper-images/arxiv-2405-12399-zh-diffusion-for-world-modeling-visual-details-matter-i/1-markdown.png 离散压缩与像素扩散对细节和动作选择的影响 离散压缩与像素扩散对细节和动作选择的影响 https://paperbridge.wiki/paper-images/arxiv-2405-12399-zh-diffusion-for-world-modeling-visual-details-matter-i/2-markdown-token.png 离散 token 与像素扩散的跨帧一致性对比 离散 token 与像素扩散的跨帧一致性对比 https://paperbridge.wiki/paper-images/arxiv-2405-12399-zh-diffusion-for-world-modeling-visual-details-matter-i/3-markdown-ddpm-edm.png 少量去噪下 DDPM 与 EDM 的长程稳定性 少量去噪下 DDPM 与 EDM 的长程稳定性 https://paperbridge.wiki/paper-images/arxiv-2405-12399-zh-diffusion-for-world-modeling-visual-details-matter-i/4-markdown-diamond.png DIAMOND 的数据收集、世界模型更新与想象训练闭环 DIAMOND 的数据收集、世界模型更新与想象训练闭环 https://paperbridge.wiki/paper-images/arxiv-2405-12399-zh-diffusion-for-world-modeling-visual-details-matter-i/5-markdown.png 一步预测平均多种结果，多步去噪选择一种结果 一步预测平均多种结果，多步去噪选择一种结果 https://paperbridge.wiki/paper-images/arxiv-2405-12399-zh-diffusion-for-world-modeling-visual-details-matter-i/6-markdown.png 论文已验证的范围与仍待验证的问题 论文已验证的范围与仍待验证的问题 https://paperbridge.wiki/paper/arxiv-2308-01898-zh-unisim-a-neural-closed-loop-sensor-simulator https://paperbridge.wiki/paper-images/arxiv-2308-01898-zh-unisim-a-neural-closed-loop-sensor-simulator/1-markdown-unisim.png 录像重放无法反馈动作，UniSim 则把更新后的场景送回下一轮传感器生成 录像重放无法反馈动作，UniSim 则把更新后的场景送回下一轮传感器生成 https://paperbridge.wiki/paper-images/arxiv-2308-01898-zh-unisim-a-neural-closed-loop-sensor-simulator/2-markdown.png 一次采集被拆成静态背景与动态车辆，编辑后再组合 一次采集被拆成静态背景与动态车辆，编辑后再组合 https://paperbridge.wiki/paper-images/arxiv-2308-01898-zh-unisim-a-neural-closed-loop-sensor-simulator/3-markdown-3d-lidar.png 同一个神经 3D 场景从新视角生成相机图像和 LiDAR 点云 同一个神经 3D 场景从新视角生成相机图像和 LiDAR 点云 https://paperbridge.wiki/paper-images/arxiv-2308-01898-zh-unisim-a-neural-closed-loop-sensor-simulator/4-markdown.png 危险车辆出现后，系统观察、决策、更新状态并进入下一轮 危险车辆出现后，系统观察、决策、更新状态并进入下一轮 https://paperbridge.wiki/paper-images/arxiv-2308-01898-zh-unisim-a-neural-closed-loop-sensor-simulator/5-markdown.png 论文已经展示的能力，与仍需扩大验证的边界 论文已经展示的能力，与仍需扩大验证的边界 https://paperbridge.wiki/paper/arxiv-2309-17080-zh-gaia-1-a-generative-world-model-for-autonomous-drivi https://paperbridge.wiki/paper-images/arxiv-2309-17080-zh-gaia-1-a-generative-world-model-for-autonomous-drivi/1-markdown.png 同一场景可以通向多个合理未来 同一场景可以通向多个合理未来 https://paperbridge.wiki/paper-images/arxiv-2309-17080-zh-gaia-1-a-generative-world-model-for-autonomous-drivi/2-markdown-gaia-1.png GAIA-1 的端到端信息流 GAIA-1 的端到端信息流 https://paperbridge.wiki/paper-images/arxiv-2309-17080-zh-gaia-1-a-generative-world-model-for-autonomous-drivi/3-markdown-token.png 画面压缩为语义 token 画面压缩为语义 token https://paperbridge.wiki/paper-images/arxiv-2309-17080-zh-gaia-1-a-generative-world-model-for-autonomous-drivi/4-markdown.png 世界模型与视频解码器的分工 世界模型与视频解码器的分工 https://paperbridge.wiki/paper-images/arxiv-2309-17080-zh-gaia-1-a-generative-world-model-for-autonomous-drivi/5-markdown.png 生成能力与安全结论之间仍有缺口 生成能力与安全结论之间仍有缺口 https://paperbridge.wiki/paper/arxiv-2506-09985-zh-v-jepa-2-self-supervised-video-models-enable-underst https://paperbridge.wiki/paper-images/arxiv-2506-09985-zh-v-jepa-2-self-supervised-video-models-enable-underst/1-markdown-v-jepa-2.png V-JEPA 2 先从大规模视频学视觉规律，再用少量机器人视频补上动作条件。 V-JEPA 2 先从大规模视频学视觉规律，再用少量机器人视频补上动作条件。 https://paperbridge.wiki/paper-images/arxiv-2506-09985-zh-v-jepa-2-self-supervised-video-models-enable-underst/2-markdown.png 逐像素重建会消耗能力追逐细节；表征空间预测更关注稳定的运动结构。 逐像素重建会消耗能力追逐细节；表征空间预测更关注稳定的运动结构。 https://paperbridge.wiki/paper-images/arxiv-2506-09985-zh-v-jepa-2-self-supervised-video-models-enable-underst/3-markdown.png 系统比较多个想象结果，只执行第一步，再根据新画面重新规划。 系统比较多个想象结果，只执行第一步，再根据新画面重新规划。 https://paperbridge.wiki/paper-images/arxiv-2506-09985-zh-v-jepa-2-self-supervised-video-models-enable-underst/4-markdown.png 同一模型在两个未提供训练数据的实验室执行抓取、搬运与放置。 同一模型在两个未提供训练数据的实验室执行抓取、搬运与放置。 https://paperbridge.wiki/paper-images/arxiv-2506-09985-zh-v-jepa-2-self-supervised-video-models-enable-underst/5-markdown.png 相机位置、滚动误差与长程搜索共同限制了规划能力。 相机位置、滚动误差与长程搜索共同限制了规划能力。 https://paperbridge.wiki/paper/arxiv-2402-15391-zh-genie-generative-interactive-environments https://paperbridge.wiki/paper-images/arxiv-2402-15391-zh-genie-generative-interactive-environments/1-markdown.png 从被动视频到可交互生成 从被动视频到可交互生成 https://paperbridge.wiki/paper-images/arxiv-2402-15391-zh-genie-generative-interactive-environments/2-markdown.png 无标签视频如何变成可控制动作 无标签视频如何变成可控制动作 https://paperbridge.wiki/paper-images/arxiv-2402-15391-zh-genie-generative-interactive-environments/3-markdown-genie.png Genie 三组件结构 Genie 三组件结构 https://paperbridge.wiki/paper-images/arxiv-2402-15391-zh-genie-generative-interactive-environments/4-markdown.png 同一动作在不同世界中的直觉 同一动作在不同世界中的直觉 https://paperbridge.wiki/paper-images/arxiv-2402-15391-zh-genie-generative-interactive-environments/5-markdown.png 架构消融与动作迁移证据 架构消融与动作迁移证据 https://paperbridge.wiki/paper-images/arxiv-2402-15391-zh-genie-generative-interactive-environments/6-markdown.png 当前原型的三重边界 当前原型的三重边界 https://paperbridge.wiki/paper/arxiv-2310-16828-zh-td-mpc2-scalable-robust-world-models-for-continuous- https://paperbridge.wiki/paper-images/arxiv-2310-16828-zh-td-mpc2-scalable-robust-world-models-for-continuous-/1-markdown.png 控制导向的世界模型不必重建每个未来像素 控制导向的世界模型不必重建每个未来像素 https://paperbridge.wiki/paper-images/arxiv-2310-16828-zh-td-mpc2-scalable-robust-world-models-for-continuous-/2-markdown.png 先稳住算法，模型和数据规模才有机会带来收益 先稳住算法，模型和数据规模才有机会带来收益 https://paperbridge.wiki/paper-images/arxiv-2310-16828-zh-td-mpc2-scalable-robust-world-models-for-continuous-/3-markdown-td-mpc2.png TD-MPC2 的五类组件与任务嵌入 TD-MPC2 的五类组件与任务嵌入 https://paperbridge.wiki/paper-images/arxiv-2310-16828-zh-td-mpc2-scalable-robust-world-models-for-continuous-/4-markdown-td-mpc2.png TD-MPC2 的在线规划与学习闭环 TD-MPC2 的在线规划与学习闭环 https://paperbridge.wiki/paper-images/arxiv-2310-16828-zh-td-mpc2-scalable-robust-world-models-for-continuous-/5-markdown.png 不同身体和动作维度如何进入同一个世界模型 不同身体和动作维度如何进入同一个世界模型 https://paperbridge.wiki/paper-images/arxiv-2310-16828-zh-td-mpc2-scalable-robust-world-models-for-continuous-/6-markdown.png 奖励、安全检查与数据成本构成三条实践边界 奖励、安全检查与数据成本构成三条实践边界 https://paperbridge.wiki/paper/arxiv-2203-04955-zh-temporal-difference-learning-for-model-predictive-co https://paperbridge.wiki/paper-images/arxiv-2203-04955-zh-temporal-difference-learning-for-model-predictive-co/1-markdown-td-mpc.png TD-MPC 把短程规划和长期价值接在一起 TD-MPC 把短程规划和长期价值接在一起 https://paperbridge.wiki/paper-images/arxiv-2203-04955-zh-temporal-difference-learning-for-model-predictive-co/2-markdown.png 预测整个观察与只学习任务相关信息的对比 预测整个观察与只学习任务相关信息的对比 https://paperbridge.wiki/paper-images/arxiv-2203-04955-zh-temporal-difference-learning-for-model-predictive-co/3-markdown.png 滚动时域控制：评分、执行一步、重新规划 滚动时域控制：评分、执行一步、重新规划 https://paperbridge.wiki/paper-images/arxiv-2203-04955-zh-temporal-difference-learning-for-model-predictive-co/4-markdown-told.png TOLD 的多步联合训练 TOLD 的多步联合训练 https://paperbridge.wiki/paper-images/arxiv-2203-04955-zh-temporal-difference-learning-for-model-predictive-co/5-markdown.png 规划质量与计算成本之间的概念权衡 规划质量与计算成本之间的概念权衡 https://paperbridge.wiki/paper/arxiv-1911-08265-zh-mastering-atari-go-chess-and-shogi-by-planning-with- https://paperbridge.wiki/paper-images/arxiv-1911-08265-zh-mastering-atari-go-chess-and-shogi-by-planning-with-/1-markdown.png 两种建模目标的对比：复刻世界，或只保留规划需要的信息 两种建模目标的对比：复刻世界，或只保留规划需要的信息 https://paperbridge.wiki/paper-images/arxiv-1911-08265-zh-mastering-atari-go-chess-and-shogi-by-planning-with-/2-markdown.png 旅行地图类比：完整城市与够用的决策地图 旅行地图类比：完整城市与够用的决策地图 https://paperbridge.wiki/paper-images/arxiv-1911-08265-zh-mastering-atari-go-chess-and-shogi-by-planning-with-/3-markdown-muzero.png MuZero 从观察历史到搜索决策的四段流程 MuZero 从观察历史到搜索决策的四段流程 https://paperbridge.wiki/paper-images/arxiv-1911-08265-zh-mastering-atari-go-chess-and-shogi-by-planning-with-/4-markdown.png 观察、规划、行动、获得奖励、更新网络的闭环 观察、规划、行动、获得奖励、更新网络的闭环 https://paperbridge.wiki/paper-images/arxiv-1911-08265-zh-mastering-atari-go-chess-and-shogi-by-planning-with-/5-markdown-muzero.png MuZero 的三类评测场景 MuZero 的三类评测场景 https://paperbridge.wiki/paper-images/arxiv-1911-08265-zh-mastering-atari-go-chess-and-shogi-by-planning-with-/6-markdown-muzero.png MuZero 的能力与代价 MuZero 的能力与代价 https://paperbridge.wiki/paper/arxiv-2301-04104-zh-mastering-diverse-domains-through-world-models https://paperbridge.wiki/paper-images/arxiv-2301-04104-zh-mastering-diverse-domains-through-world-models/1-markdown.png 逐域调参与固定配置的对比 逐域调参与固定配置的对比 https://paperbridge.wiki/paper-images/arxiv-2301-04104-zh-mastering-diverse-domains-through-world-models/2-markdown-dreamerv3.png DreamerV3 的学习循环 DreamerV3 的学习循环 https://paperbridge.wiki/paper-images/arxiv-2301-04104-zh-mastering-diverse-domains-through-world-models/3-markdown.png 不同尺度信号经过对称压缩 不同尺度信号经过对称压缩 https://paperbridge.wiki/paper-images/arxiv-2301-04104-zh-mastering-diverse-domains-through-world-models/4-markdown.png 八个领域共享同一配置 八个领域共享同一配置 https://paperbridge.wiki/paper-images/arxiv-2301-04104-zh-mastering-diverse-domains-through-world-models/5-markdown.png 算力、表现与真实交互的权衡 算力、表现与真实交互的权衡 https://paperbridge.wiki/paper/arxiv-2010-02193-zh-mastering-atari-with-discrete-world-models https://paperbridge.wiki/paper-images/arxiv-2010-02193-zh-mastering-atari-with-discrete-world-models/1-markdown-dreamerv2.png DreamerV2 从真实经历到内部想象，再回到环境的核心循环 DreamerV2 从真实经历到内部想象，再回到环境的核心循环 https://paperbridge.wiki/paper-images/arxiv-2010-02193-zh-mastering-atari-with-discrete-world-models/2-markdown.png 逐帧像素预测会累积误差，而紧凑状态更适合长程推演 逐帧像素预测会累积误差，而紧凑状态更适合长程推演 https://paperbridge.wiki/paper-images/arxiv-2010-02193-zh-mastering-atari-with-discrete-world-models/3-markdown.png 世界模型从画面学习后验与先验离散状态，并预测图像、奖励和继续概率 世界模型从画面学习后验与先验离散状态，并预测图像、奖励和继续概率 https://paperbridge.wiki/paper-images/arxiv-2010-02193-zh-mastering-atari-with-discrete-world-models/4-markdown.png 大量想象轨迹在冻结的世界模型内并行展开，只更新演员与评论家 大量想象轨迹在冻结的世界模型内并行展开，只更新演员与评论家 https://paperbridge.wiki/paper-images/arxiv-2010-02193-zh-mastering-atari-with-discrete-world-models/5-markdown.png 五种智能体在相同预算下经过四种汇总视角比较 五种智能体在相同预算下经过四种汇总视角比较 https://paperbridge.wiki/paper-images/arxiv-2010-02193-zh-mastering-atari-with-discrete-world-models/6-markdown.png 单任务训练、计算成本与一像素关键物体构成论文的主要边界 单任务训练、计算成本与一像素关键物体构成论文的主要边界 https://paperbridge.wiki/paper/arxiv-1912-01603-zh-dream-to-control-learning-behaviors-by-latent-imagin https://paperbridge.wiki/paper-images/arxiv-1912-01603-zh-dream-to-control-learning-behaviors-by-latent-imagin/1-markdown-dreamer.png Dreamer 从真实经验到潜在想象，再回到环境的学习闭环 Dreamer 从真实经验到潜在想象，再回到环境的学习闭环 https://paperbridge.wiki/paper-images/arxiv-1912-01603-zh-dream-to-control-learning-behaviors-by-latent-imagin/2-markdown.png 完整图像被压缩为控制相关状态，再并行展开许多未来 完整图像被压缩为控制相关状态，再并行展开许多未来 https://paperbridge.wiki/paper-images/arxiv-1912-01603-zh-dream-to-control-learning-behaviors-by-latent-imagin/3-markdown-dreamer.png Dreamer 的表征、转移、奖励、动作与价值组件 Dreamer 的表征、转移、奖励、动作与价值组件 https://paperbridge.wiki/paper-images/arxiv-1912-01603-zh-dream-to-control-learning-behaviors-by-latent-imagin/4-markdown.png 没有价值时只看眼前；有价值时，轨迹末端能接上远期收益 没有价值时只看眼前；有价值时，轨迹末端能接上远期收益 https://paperbridge.wiki/paper-images/arxiv-1912-01603-zh-dream-to-control-learning-behaviors-by-latent-imagin/5-markdown.png 准确模型让想象贴近真实；小误差则可能逐步漂移并导向错误动作 准确模型让想象贴近真实；小误差则可能逐步漂移并导向错误动作 https://paperbridge.wiki/paper/arxiv-1811-04551-zh-learning-latent-dynamics-for-planning-from-pixels https://paperbridge.wiki/paper-images/arxiv-1811-04551-zh-learning-latent-dynamics-for-planning-from-pixels/1-markdown-planet.png PlaNet 在潜在空间中评估候选动作，并只执行第一步 PlaNet 在潜在空间中评估候选动作，并只执行第一步 https://paperbridge.wiki/paper-images/arxiv-1811-04551-zh-learning-latent-dynamics-for-planning-from-pixels/2-markdown.png 部分可观测时，模型需要用记忆连接看得见与看不见的状态 部分可观测时，模型需要用记忆连接看得见与看不见的状态 https://paperbridge.wiki/paper-images/arxiv-1811-04551-zh-learning-latent-dynamics-for-planning-from-pixels/3-markdown.png 纯确定、纯随机与混合状态模型的直观差别 纯确定、纯随机与混合状态模型的直观差别 https://paperbridge.wiki/paper-images/arxiv-1811-04551-zh-learning-latent-dynamics-for-planning-from-pixels/4-markdown.png 一步训练与多步潜在一致性训练 一步训练与多步潜在一致性训练 https://paperbridge.wiki/paper-images/arxiv-1811-04551-zh-learning-latent-dynamics-for-planning-from-pixels/5-markdown.png 智能体用自己规划出的行为继续收集数据并修正模型 智能体用自己规划出的行为继续收集数据并修正模型 https://paperbridge.wiki/paper/arxiv-1803-10122-zh-world-models https://paperbridge.wiki/paper-images/arxiv-1803-10122-zh-world-models/1-markdown.png 现实经验训练世界模型，世界模型生成练习环境，控制器再回到现实 现实经验训练世界模型，世界模型生成练习环境，控制器再回到现实 https://paperbridge.wiki/paper-images/arxiv-1803-10122-zh-world-models/2-markdown.png 详细画面经过有损压缩后，仍保留赛道、车辆和弯道等行动线索 详细画面经过有损压缩后，仍保留赛道、车辆和弯道等行动线索 https://paperbridge.wiki/paper-images/arxiv-1803-10122-zh-world-models/3-markdown.png 画面进入视觉模块得到压缩状态，记忆模块更新历史，控制器输出动作并影响下一画面 画面进入视觉模块得到压缩状态，记忆模块更新历史，控制器输出动作并影响下一画面 https://paperbridge.wiki/paper-images/arxiv-1803-10122-zh-world-models/4-markdown.png 模型漏洞让控制器走捷径；增加不确定性后，控制器必须学更稳健的躲避方式 模型漏洞让控制器走捷径；增加不确定性后，控制器必须学更稳健的躲避方式 https://paperbridge.wiki/paper-images/arxiv-1803-10122-zh-world-models/5-markdown.png 真实行动、收集新经验、更新模型、内部练习和再部署形成循环，未知区域是持续风险 真实行动、收集新经验、更新模型、内部练习和再部署形成循环，未知区域是持续风险 https://paperbridge.wiki/paper/zh-cdn-openai-com-3 https://paperbridge.wiki/paper-images/zh-cdn-openai-com-3/1-markdown.png 同一套更强的视频生成能力，同时放大创作价值与滥用风险 同一套更强的视频生成能力，同时放大创作价值与滥用风险 https://paperbridge.wiki/paper-images/zh-cdn-openai-com-3/2-markdown.png 从输入检查到输出放行或拦截，再由举报与处置形成反馈 从输入检查到输出放行或拦截，再由举报与处置形成反馈 https://paperbridge.wiki/paper-images/zh-cdn-openai-com-3/3-markdown-c2pa.png C2PA 元数据、动态水印与内部检测提供互补的来源信号 C2PA 元数据、动态水印与内部检测提供互补的来源信号 https://paperbridge.wiki/paper-images/zh-cdn-openai-com-3/4-markdown.png 评测需要同时观察拦截不安全内容与避免误伤正常内容 评测需要同时观察拦截不安全内容与避免误伤正常内容 https://paperbridge.wiki/paper-images/zh-cdn-openai-com-3/5-markdown.png 有限开放、限制输入、重点保护、持续监测与规则更新构成迭代闭环 有限开放、限制输入、重点保护、持续监测与规则更新构成迭代闭环 https://paperbridge.wiki/paper/arxiv-2407-00215-zh-llm-critics-help-catch-llm-bugs https://paperbridge.wiki/paper-images/arxiv-2407-00215-zh-llm-critics-help-catch-llm-bugs/1-markdown-criticgpt.png CriticGPT 辅助人工复核的基本流程 CriticGPT 辅助人工复核的基本流程 https://paperbridge.wiki/paper-images/arxiv-2407-00215-zh-llm-critics-help-catch-llm-bugs/2-markdown-criticgpt.png 从真实任务到 CriticGPT 的训练闭环 从真实任务到 CriticGPT 的训练闭环 https://paperbridge.wiki/paper-images/arxiv-2407-00215-zh-llm-critics-help-catch-llm-bugs/3-markdown-fsbs.png FSBS 从多份候选批评中选择结果 FSBS 从多份候选批评中选择结果 https://paperbridge.wiki/paper-images/arxiv-2407-00215-zh-llm-critics-help-catch-llm-bugs/4-markdown.png 人工、模型与人机组合的定性比较 人工、模型与人机组合的定性比较 https://paperbridge.wiki/paper-images/arxiv-2407-00215-zh-llm-critics-help-catch-llm-bugs/5-markdown-criticgpt.png CriticGPT 已测试范围与尚未覆盖的复杂场景 CriticGPT 已测试范围与尚未覆盖的复杂场景 https://paperbridge.wiki/paper/arxiv-2312-09390-zh-weak-to-strong-generalization-eliciting-strong-capab https://paperbridge.wiki/paper-images/arxiv-2312-09390-zh-weak-to-strong-generalization-eliciting-strong-capab/1-markdown.png 未来监督难题与今天实验的类比 未来监督难题与今天实验的类比 https://paperbridge.wiki/paper-images/arxiv-2312-09390-zh-weak-to-strong-generalization-eliciting-strong-capab/2-markdown.png 弱到强实验的三阶段流程 弱到强实验的三阶段流程 https://paperbridge.wiki/paper-images/arxiv-2312-09390-zh-weak-to-strong-generalization-eliciting-strong-capab/3-markdown.png 置信度辅助损失如何减少照抄错误 置信度辅助损失如何减少照抄错误 https://paperbridge.wiki/paper-images/arxiv-2312-09390-zh-weak-to-strong-generalization-eliciting-strong-capab/4-markdown.png 逐级引导跨越模型能力差距 逐级引导跨越模型能力差距 https://paperbridge.wiki/paper-images/arxiv-2312-09390-zh-weak-to-strong-generalization-eliciting-strong-capab/5-markdown.png 三类任务的定性结果对比 三类任务的定性结果对比 https://paperbridge.wiki/paper-images/arxiv-2312-09390-zh-weak-to-strong-generalization-eliciting-strong-capab/6-markdown.png 实验类比与真实未来监督之间的缺口 实验类比与真实未来监督之间的缺口 https://paperbridge.wiki/paper/arxiv-2009-01325-zh-learning-to-summarize-from-human-feedback https://paperbridge.wiki/paper-images/arxiv-2009-01325-zh-learning-to-summarize-from-human-feedback/1-markdown.png 模仿单一参考与学习人类偏好的差别 模仿单一参考与学习人类偏好的差别 https://paperbridge.wiki/paper-images/arxiv-2009-01325-zh-learning-to-summarize-from-human-feedback/2-markdown.png 人类比较、奖励学习与策略优化构成的闭环 人类比较、奖励学习与策略优化构成的闭环 https://paperbridge.wiki/paper-images/arxiv-2009-01325-zh-learning-to-summarize-from-human-feedback/3-markdown-kl.png 奖励信号与 KL 约束共同影响生成策略 奖励信号与 KL 约束共同影响生成策略 https://paperbridge.wiki/paper-images/arxiv-2009-01325-zh-learning-to-summarize-from-human-feedback/4-markdown.png 人类反馈带来的模型规模优势与跨领域迁移 人类反馈带来的模型规模优势与跨领域迁移 https://paperbridge.wiki/paper-images/arxiv-2009-01325-zh-learning-to-summarize-from-human-feedback/5-markdown.png 奖励优化过头后与真实人类偏好分离 奖励优化过头后与真实人类偏好分离 https://paperbridge.wiki/paper/arxiv-2112-09332-zh-webgpt-browser-assisted-question-answering-with-huma https://paperbridge.wiki/paper-images/arxiv-2112-09332-zh-webgpt-browser-assisted-question-answering-with-huma/1-markdown-webgpt.png WebGPT 从问题到带引用回答的完整链路 WebGPT 从问题到带引用回答的完整链路 https://paperbridge.wiki/paper-images/arxiv-2112-09332-zh-webgpt-browser-assisted-question-answering-with-huma/2-markdown.png 一次检索与多步浏览的差别 一次检索与多步浏览的差别 https://paperbridge.wiki/paper-images/arxiv-2112-09332-zh-webgpt-browser-assisted-question-answering-with-huma/3-markdown.png 示范、偏好与候选筛选组成的训练链 示范、偏好与候选筛选组成的训练链 https://paperbridge.wiki/paper-images/arxiv-2112-09332-zh-webgpt-browser-assisted-question-answering-with-huma/4-markdown.png 引用带来的可核查性与风险 引用带来的可核查性与风险 https://paperbridge.wiki/paper-images/arxiv-2112-09332-zh-webgpt-browser-assisted-question-answering-with-huma/5-markdown.png 使用带引用回答时的核对流程 使用带引用回答时的核对流程 https://paperbridge.wiki/paper/arxiv-2005-00341-zh-jukebox-a-generative-model-for-music https://paperbridge.wiki/paper-images/arxiv-2005-00341-zh-jukebox-a-generative-model-for-music/1-markdown.png 四分钟原始音频先被压缩成离散音乐代码 四分钟原始音频先被压缩成离散音乐代码 https://paperbridge.wiki/paper-images/arxiv-2005-00341-zh-jukebox-a-generative-model-for-music/2-markdown-jukebox.png Jukebox 从原始音频到带歌声音频的完整生成链路 Jukebox 从原始音频到带歌声音频的完整生成链路 https://paperbridge.wiki/paper-images/arxiv-2005-00341-zh-jukebox-a-generative-model-for-music/3-markdown.png 同样长度的代码上下文在三层对应不同真实时长 同样长度的代码上下文在三层对应不同真实时长 https://paperbridge.wiki/paper-images/arxiv-2005-00341-zh-jukebox-a-generative-model-for-music/4-markdown.png 录音棚类比：先定结构，再做编配，最后补声音细节 录音棚类比：先定结构，再做编配，最后补声音细节 https://paperbridge.wiki/paper-images/arxiv-2005-00341-zh-jukebox-a-generative-model-for-music/5-markdown.png 相邻窗口能保持局部连贯，但很远的段落不会被可靠记住 相邻窗口能保持局部连贯，但很远的段落不会被可靠记住 https://paperbridge.wiki/paper/arxiv-2303-01469-zh-consistency-models https://paperbridge.wiki/paper-images/arxiv-2303-01469-zh-consistency-models/1-markdown.png 扩散模型的多次去噪，与一致性模型的一步映射 扩散模型的多次去噪，与一致性模型的一步映射 https://paperbridge.wiki/paper-images/arxiv-2303-01469-zh-consistency-models/2-markdown.png 同一轨迹上的不同状态映射到同一个起点 同一轨迹上的不同状态映射到同一个起点 https://paperbridge.wiki/paper-images/arxiv-2303-01469-zh-consistency-models/3-markdown.png 一致性蒸馏与独立一致性训练 一致性蒸馏与独立一致性训练 https://paperbridge.wiki/paper-images/arxiv-2303-01469-zh-consistency-models/4-markdown.png 一步更快，多步用更多计算换质量 一步更快，多步用更多计算换质量 https://paperbridge.wiki/paper-images/arxiv-2303-01469-zh-consistency-models/5-markdown.png 一个一致性模型支持多种零样本编辑 一个一致性模型支持多种零样本编辑 https://paperbridge.wiki/paper/arxiv-2102-09672-zh-improved-denoising-diffusion-probabilistic-models https://paperbridge.wiki/paper-images/arxiv-2102-09672-zh-improved-denoising-diffusion-probabilistic-models/1-markdown.png 论文核心权衡：质量、速度与覆盖 论文核心权衡：质量、速度与覆盖 https://paperbridge.wiki/paper-images/arxiv-2102-09672-zh-improved-denoising-diffusion-probabilistic-models/2-markdown.png 从图片逐步加噪，再学习反向去噪 从图片逐步加噪，再学习反向去噪 https://paperbridge.wiki/paper-images/arxiv-2102-09672-zh-improved-denoising-diffusion-probabilistic-models/3-markdown.png 三项改动共同进入同一个去噪模型 三项改动共同进入同一个去噪模型 https://paperbridge.wiki/paper-images/arxiv-2102-09672-zh-improved-denoising-diffusion-probabilistic-models/4-markdown.png 完整采样路径与稀疏采样路径 完整采样路径与稀疏采样路径 https://paperbridge.wiki/paper-images/arxiv-2102-09672-zh-improved-denoising-diffusion-probabilistic-models/5-markdown.png 精度关注落点是否准确，召回关注覆盖是否广 精度关注落点是否准确，召回关注覆盖是否广 https://paperbridge.wiki/paper-images/arxiv-2102-09672-zh-improved-denoising-diffusion-probabilistic-models/6-markdown.png 哪些结果已验证，哪些场景需要重新测试 哪些结果已验证，哪些场景需要重新测试 https://paperbridge.wiki/paper/arxiv-2105-05233-zh-diffusion-models-beat-gans-on-image-synthesis https://paperbridge.wiki/paper-images/arxiv-2105-05233-zh-diffusion-models-beat-gans-on-image-synthesis/1-markdown-gan.png GAN 与扩散模型的生成路径对比 GAN 与扩散模型的生成路径对比 https://paperbridge.wiki/paper-images/arxiv-2105-05233-zh-diffusion-models-beat-gans-on-image-synthesis/2-markdown.png 从噪声逐步去噪成图像 从噪声逐步去噪成图像 https://paperbridge.wiki/paper-images/arxiv-2105-05233-zh-diffusion-models-beat-gans-on-image-synthesis/3-markdown-u-net-u-net.png 基础 U-Net 与论文改进 U-Net 基础 U-Net 与论文改进 U-Net https://paperbridge.wiki/paper-images/arxiv-2105-05233-zh-diffusion-models-beat-gans-on-image-synthesis/4-markdown.png 分类器梯度如何推动每一步去噪 分类器梯度如何推动每一步去噪 https://paperbridge.wiki/paper-images/arxiv-2105-05233-zh-diffusion-models-beat-gans-on-image-synthesis/5-markdown.png 分类器引导与扩散上采样的组合 分类器引导与扩散上采样的组合 https://paperbridge.wiki/paper-images/arxiv-2105-05233-zh-diffusion-models-beat-gans-on-image-synthesis/6-markdown.png 引导强度带来的逼真度与多样性取舍 引导强度带来的逼真度与多样性取舍 https://paperbridge.wiki/paper/arxiv-2305-02463-zh-shap-e-generating-conditional-3d-implicit-functions https://paperbridge.wiki/paper-images/arxiv-2305-02463-zh-shap-e-generating-conditional-3d-implicit-functions/1-markdown-shap-e.png Shap‑E 从条件直接生成隐式函数，再分成两种三维输出 Shap‑E 从条件直接生成隐式函数，再分成两种三维输出 https://paperbridge.wiki/paper-images/arxiv-2305-02463-zh-shap-e-generating-conditional-3d-implicit-functions/2-markdown.png 坐标查询如何同时支持体渲染和网格提取 坐标查询如何同时支持体渲染和网格提取 https://paperbridge.wiki/paper-images/arxiv-2305-02463-zh-shap-e-generating-conditional-3d-implicit-functions/3-markdown-shap-e.png Shap‑E 的两阶段训练与生成路径 Shap‑E 的两阶段训练与生成路径 https://paperbridge.wiki/paper-images/arxiv-2305-02463-zh-shap-e-generating-conditional-3d-implicit-functions/4-markdown-shap-e-point-e.png 在相同数据和基础架构下，Shap‑E 与 Point‑E 只改变输出表示 在相同数据和基础架构下，Shap‑E 与 Point‑E 只改变输出表示 https://paperbridge.wiki/paper-images/arxiv-2305-02463-zh-shap-e-generating-conditional-3d-implicit-functions/5-markdown.png 论文报告的细节、属性绑定与计数局限 论文报告的细节、属性绑定与计数局限 https://paperbridge.wiki/paper/arxiv-2212-08751-zh-point-e-a-system-for-generating-3d-point-clouds-from https://paperbridge.wiki/paper-images/arxiv-2212-08751-zh-point-e-a-system-for-generating-3d-point-clouds-from/1-markdown-point-e.png Point‑E 的三段生成流程 Point‑E 的三段生成流程 https://paperbridge.wiki/paper-images/arxiv-2212-08751-zh-point-e-a-system-for-generating-3d-point-clouds-from/2-markdown.png 逐个优化与两段生成的速度差异 逐个优化与两段生成的速度差异 https://paperbridge.wiki/paper-images/arxiv-2212-08751-zh-point-e-a-system-for-generating-3d-point-clouds-from/3-markdown.png 点云扩散模型读取什么信息 点云扩散模型读取什么信息 https://paperbridge.wiki/paper-images/arxiv-2212-08751-zh-point-e-a-system-for-generating-3d-point-clouds-from/4-markdown-point-e.png Point‑E 位于速度与精细度取舍的偏快一侧 Point‑E 位于速度与精细度取舍的偏快一侧 https://paperbridge.wiki/paper-images/arxiv-2212-08751-zh-point-e-a-system-for-generating-3d-point-clouds-from/5-markdown.png 单张图留下多个可能的三维答案 单张图留下多个可能的三维答案 https://paperbridge.wiki/paper-images/arxiv-2212-08751-zh-point-e-a-system-for-generating-3d-point-clouds-from/6-markdown.png 从点云到实物之前的验证关口 从点云到实物之前的验证关口 https://paperbridge.wiki/paper/arxiv-2112-10741-zh-glide-towards-photorealistic-image-generation-and-ed https://paperbridge.wiki/paper-images/arxiv-2112-10741-zh-glide-towards-photorealistic-image-generation-and-ed/1-markdown.png 文字提示经过随机噪声和多步去噪，逐渐形成目标图像 文字提示经过随机噪声和多步去噪，逐渐形成目标图像 https://paperbridge.wiki/paper-images/arxiv-2112-10741-zh-glide-towards-photorealistic-image-generation-and-ed/2-markdown-clip.png 外部 CLIP 引导与无分类器引导的结构对比 外部 CLIP 引导与无分类器引导的结构对比 https://paperbridge.wiki/paper-images/arxiv-2112-10741-zh-glide-towards-photorealistic-image-generation-and-ed/3-markdown.png 从随机颗粒逐渐收拢成清晰茶壶的去噪直觉 从随机颗粒逐渐收拢成清晰茶壶的去噪直觉 https://paperbridge.wiki/paper-images/arxiv-2112-10741-zh-glide-towards-photorealistic-image-generation-and-ed/4-markdown.png 客厅图像经过遮罩后补入一幅画 客厅图像经过遮罩后补入一幅画 https://paperbridge.wiki/paper-images/arxiv-2112-10741-zh-glide-towards-photorealistic-image-generation-and-ed/5-markdown.png 自动评分与人类判断可能出现分歧 自动评分与人类判断可能出现分歧 https://paperbridge.wiki/paper-images/arxiv-2112-10741-zh-glide-towards-photorealistic-image-generation-and-ed/6-markdown.png 异常物体、慢速采样以及伪造与偏见风险 异常物体、慢速采样以及伪造与偏见风险 https://paperbridge.wiki/paper/arxiv-2204-06125-zh-hierarchical-text-conditional-image-generation-with- https://paperbridge.wiki/paper-images/arxiv-2204-06125-zh-hierarchical-text-conditional-image-generation-with-/1-markdown.png 文字先变成图像语义，再变成像素细节 文字先变成图像语义，再变成像素细节 https://paperbridge.wiki/paper-images/arxiv-2204-06125-zh-hierarchical-text-conditional-image-generation-with-/2-markdown-clip-unclip.png CLIP 学习与 unCLIP 生成的分工 CLIP 学习与 unCLIP 生成的分工 https://paperbridge.wiki/paper-images/arxiv-2204-06125-zh-hierarchical-text-conditional-image-generation-with-/3-markdown.png 两阶段生成在增强引导时更容易保留语义多样性 两阶段生成在增强引导时更容易保留语义多样性 https://paperbridge.wiki/paper-images/arxiv-2204-06125-zh-hierarchical-text-conditional-image-generation-with-/4-markdown.png 同一图像语义可以解码出相关但不相同的版本 同一图像语义可以解码出相关但不相同的版本 https://paperbridge.wiki/paper-images/arxiv-2204-06125-zh-hierarchical-text-conditional-image-generation-with-/5-markdown.png 论文报告的三类主要失败模式 论文报告的三类主要失败模式 https://paperbridge.wiki/paper/arxiv-2410-21276-zh-gpt-4o-system-card https://paperbridge.wiki/paper-images/arxiv-2410-21276-zh-gpt-4o-system-card/1-markdown.png 文字、声音、图像和视频进入同一个模型核心，再产生文字、声音和图像。 文字、声音、图像和视频进入同一个模型核心，再产生文字、声音和图像。 https://paperbridge.wiki/paper-images/arxiv-2410-21276-zh-gpt-4o-system-card/2-markdown.png 自然声音可能让信任跑在事实核对之前。 自然声音可能让信任跑在事实核对之前。 https://paperbridge.wiki/paper-images/arxiv-2410-21276-zh-gpt-4o-system-card/3-markdown.png 红队发现风险，风险被整理成评测，再进入训练约束、输出拦截与持续监测。 红队发现风险，风险被整理成评测，再进入训练约束、输出拦截与持续监测。 https://paperbridge.wiki/paper-images/arxiv-2410-21276-zh-gpt-4o-system-card/4-markdown.png 模型先生成预设声音，独立的流式分类器再决定放行还是停止。 模型先生成预设声音，独立的流式分类器再决定放行还是停止。 https://paperbridge.wiki/paper-images/arxiv-2410-21276-zh-gpt-4o-system-card/5-markdown-preparedness.png 四类 Preparedness 风险中，说服力为中，其余三类为低。 四类 Preparedness 风险中，说服力为中，其余三类为低。 https://paperbridge.wiki/paper/arxiv-2303-08774-zh-gpt-4-technical-report https://paperbridge.wiki/paper-images/arxiv-2303-08774-zh-gpt-4-technical-report/1-markdown.png 图像与文本共同进入模型，最终生成文本 图像与文本共同进入模型，最终生成文本 https://paperbridge.wiki/paper-images/arxiv-2303-08774-zh-gpt-4-technical-report/2-markdown.png 考试能力与现实可靠性并不等价 考试能力与现实可靠性并不等价 https://paperbridge.wiki/paper-images/arxiv-2303-08774-zh-gpt-4-technical-report/3-markdown.png 由小规模训练外推大模型表现 由小规模训练外推大模型表现 https://paperbridge.wiki/paper-images/arxiv-2303-08774-zh-gpt-4-technical-report/4-markdown.png 预训练与人类反馈形成两阶段训练 预训练与人类反馈形成两阶段训练 https://paperbridge.wiki/paper-images/arxiv-2303-08774-zh-gpt-4-technical-report/5-markdown.png 专家红队、安全训练与部署监测构成循环 专家红队、安全训练与部署监测构成循环 https://paperbridge.wiki/paper-images/arxiv-2303-08774-zh-gpt-4-technical-report/6-markdown.png 能力扩大、风险共存，高风险路径加入人工复核 能力扩大、风险共存，高风险路径加入人工复核 https://paperbridge.wiki/paper/arxiv-2501-12948-zh-deepseek-r1-incentivizing-reasoning-capability-in-ll https://paperbridge.wiki/paper-images/arxiv-2501-12948-zh-deepseek-r1-incentivizing-reasoning-capability-in-ll/1-markdown.png 纯模仿与规则奖励反馈回路的对比 纯模仿与规则奖励反馈回路的对比 https://paperbridge.wiki/paper-images/arxiv-2501-12948-zh-deepseek-r1-incentivizing-reasoning-capability-in-ll/2-markdown.png 只检查终点是否正确的迷宫类比 只检查终点是否正确的迷宫类比 https://paperbridge.wiki/paper-images/arxiv-2501-12948-zh-deepseek-r1-incentivizing-reasoning-capability-in-ll/3-markdown-grpo.png GRPO：同题多答、组内比较并在约束下更新策略 GRPO：同题多答、组内比较并在约束下更新策略 https://paperbridge.wiki/paper-images/arxiv-2501-12948-zh-deepseek-r1-incentivizing-reasoning-capability-in-ll/4-markdown-deepseek-r1.png DeepSeek-R1 的四阶段训练与蒸馏分支 DeepSeek-R1 的四阶段训练与蒸馏分支 https://paperbridge.wiki/paper-images/arxiv-2501-12948-zh-deepseek-r1-incentivizing-reasoning-capability-in-ll/5-markdown.png 训练中从短推理到回看与换路的行为变化 训练中从短推理到回看与换路的行为变化 https://paperbridge.wiki/paper-images/arxiv-2501-12948-zh-deepseek-r1-incentivizing-reasoning-capability-in-ll/6-markdown-deepseek-r1.png DeepSeek-R1 的能力来源与实际限制 DeepSeek-R1 的能力来源与实际限制 https://paperbridge.wiki/paper/arxiv-2412-19437-zh-deepseek-v3-technical-report https://paperbridge.wiki/paper-images/arxiv-2412-19437-zh-deepseek-v3-technical-report/1-markdown-token.png 一个 token 只激活部分专家 一个 token 只激活部分专家 https://paperbridge.wiki/paper-images/arxiv-2412-19437-zh-deepseek-v3-technical-report/2-markdown-mla-kv.png MLA 压缩 KV 缓存 MLA 压缩 KV 缓存 https://paperbridge.wiki/paper-images/arxiv-2412-19437-zh-deepseek-v3-technical-report/3-markdown.png 无辅助损失负载均衡 无辅助损失负载均衡 https://paperbridge.wiki/paper-images/arxiv-2412-19437-zh-deepseek-v3-technical-report/4-markdown.png 多词预测训练与推理 多词预测训练与推理 https://paperbridge.wiki/paper-images/arxiv-2412-19437-zh-deepseek-v3-technical-report/5-markdown.png 训练效率来自系统配合 训练效率来自系统配合 https://paperbridge.wiki/paper/arxiv-2405-04434-zh-deepseek-v2-a-strong-economical-and-efficient-mixtur https://paperbridge.wiki/paper-images/arxiv-2405-04434-zh-deepseek-v2-a-strong-economical-and-efficient-mixtur/1-markdown-deepseek-v2.png DeepSeek-V2 用稀疏激活与记忆压缩同时降低训练和生成负担 DeepSeek-V2 用稀疏激活与记忆压缩同时降低训练和生成负担 https://paperbridge.wiki/paper-images/arxiv-2405-04434-zh-deepseek-v2-a-strong-economical-and-efficient-mixtur/2-markdown-k-v-mla.png 普通多头注意力保存多份 K/V，MLA 保存压缩后的潜在表示 普通多头注意力保存多份 K/V，MLA 保存压缩后的潜在表示 https://paperbridge.wiki/paper-images/arxiv-2405-04434-zh-deepseek-v2-a-strong-economical-and-efficient-mixtur/3-markdown-token.png 一个 token 只进入少数被选中的专家，同时经过共享专家 一个 token 只进入少数被选中的专家，同时经过共享专家 https://paperbridge.wiki/paper-images/arxiv-2405-04434-zh-deepseek-v2-a-strong-economical-and-efficient-mixtur/4-markdown.png 从预训练到监督微调，再到两阶段强化学习 从预训练到监督微调，再到两阶段强化学习 https://paperbridge.wiki/paper-images/arxiv-2405-04434-zh-deepseek-v2-a-strong-economical-and-efficient-mixtur/5-markdown.png 能力与效率证据需要和知识、事实性、语言覆盖风险一起衡量 能力与效率证据需要和知识、事实性、语言覆盖风险一起衡量 https://paperbridge.wiki/paper/arxiv-2402-03300-zh-deepseekmath-pushing-the-limits-of-mathematical-reas https://paperbridge.wiki/paper-images/arxiv-2402-03300-zh-deepseekmath-pushing-the-limits-of-mathematical-reas/1-markdown-deepseekmath.png DeepSeekMath 从网页数据到数学回答的训练链 DeepSeekMath 从网页数据到数学回答的训练链 https://paperbridge.wiki/paper-images/arxiv-2402-03300-zh-deepseekmath-pushing-the-limits-of-mathematical-reas/2-markdown.png 从种子网页到人工补种的四轮数据挖掘 从种子网页到人工补种的四轮数据挖掘 https://paperbridge.wiki/paper-images/arxiv-2402-03300-zh-deepseekmath-pushing-the-limits-of-mathematical-reas/3-markdown-ppo-grpo.png PPO 与 GRPO 的结构差异 PPO 与 GRPO 的结构差异 https://paperbridge.wiki/paper-images/arxiv-2402-03300-zh-deepseekmath-pushing-the-limits-of-mathematical-reas/4-markdown-grpo.png GRPO 的同题多答与组内相对奖励 GRPO 的同题多答与组内相对奖励 https://paperbridge.wiki/paper-images/arxiv-2402-03300-zh-deepseekmath-pushing-the-limits-of-mathematical-reas/5-markdown.png 强化学习前后，正确答案出现概率的变化 强化学习前后，正确答案出现概率的变化 https://paperbridge.wiki/paper/arxiv-2401-14196-zh-deepseek-coder-when-the-large-language-model-meets-p https://paperbridge.wiki/paper-images/arxiv-2401-14196-zh-deepseek-coder-when-the-large-language-model-meets-p/1-markdown.png 从公开仓库到训练序列的五步数据流程 从公开仓库到训练序列的五步数据流程 https://paperbridge.wiki/paper-images/arxiv-2401-14196-zh-deepseek-coder-when-the-large-language-model-meets-p/2-markdown.png 单文件训练与仓库依赖序列的差别 单文件训练与仓库依赖序列的差别 https://paperbridge.wiki/paper-images/arxiv-2401-14196-zh-deepseek-coder-when-the-large-language-model-meets-p/3-markdown.png 续写与中间填空的训练目标 续写与中间填空的训练目标 https://paperbridge.wiki/paper-images/arxiv-2401-14196-zh-deepseek-coder-when-the-large-language-model-meets-p/4-markdown.png 四类任务共同构成多角度评测 四类任务共同构成多角度评测 https://paperbridge.wiki/paper-images/arxiv-2401-14196-zh-deepseek-coder-when-the-large-language-model-meets-p/5-markdown.png 基准通过与真实工程之间仍有验证鸿沟 基准通过与真实工程之间仍有验证鸿沟 https://paperbridge.wiki/paper/arxiv-2401-02954-zh-deepseek-llm-scaling-open-source-language-models-wit https://paperbridge.wiki/paper-images/arxiv-2401-02954-zh-deepseek-llm-scaling-open-source-language-models-wit/1-markdown.png 从小规模实验到完整模型的研究路径 从小规模实验到完整模型的研究路径 https://paperbridge.wiki/paper-images/arxiv-2401-02954-zh-deepseek-llm-scaling-open-source-language-models-wit/2-markdown.png 数据质量变化时，同一算力预算在模型与数据之间重新分配 数据质量变化时，同一算力预算在模型与数据之间重新分配 https://paperbridge.wiki/paper-images/arxiv-2401-02954-zh-deepseek-llm-scaling-open-source-language-models-wit/3-markdown-base-sft-dpo-chat.png 从双语数据到 Base，再经 SFT 与 DPO 得到 Chat 从双语数据到 Base，再经 SFT 与 DPO 得到 Chat https://paperbridge.wiki/paper-images/arxiv-2401-02954-zh-deepseek-llm-scaling-open-source-language-models-wit/4-markdown-deepseek-67b-llama-2-70b.png DeepSeek 67B 与 LLaMA 2 70B 的强项和混合结果 DeepSeek 67B 与 LLaMA 2 70B 的强项和混合结果 https://paperbridge.wiki/paper-images/arxiv-2401-02954-zh-deepseek-llm-scaling-open-source-language-models-wit/5-markdown.png 知识时效、幻觉、语言覆盖与数据依赖四类边界 知识时效、幻觉、语言覆盖与数据依赖四类边界 https://paperbridge.wiki/paper/arxiv-2512-06065-zh-egoedit-dataset-real-time-streaming-model-and-benchm https://paperbridge.wiki/paper-images/arxiv-2512-06065-zh-egoedit-dataset-real-time-streaming-model-and-benchm/1-markdown.png 第三人称与第一人称视频编辑难度对比：第一人称画面同时承受快速视角变化、手部遮挡和物体出画。 第三人称与第一人称视频编辑难度对比：第一人称画面同时承受快速视角变化、手部遮挡和物体出画。 https://paperbridge.wiki/paper-images/arxiv-2512-06065-zh-egoedit-dataset-real-time-streaming-model-and-benchm/2-markdown-egoedit.png EgoEdit 的三部分研究闭环：第一人称视频经专用数据整理训练编辑器，流式结果再由专用基准评估。 EgoEdit 的三部分研究闭环：第一人称视频经专用数据整理训练编辑器，流式结果再由专用基准评估。 https://paperbridge.wiki/paper-images/arxiv-2512-06065-zh-egoedit-dataset-real-time-streaming-model-and-benchm/3-markdown.png 整段离线生成与分块流式生成的差别：后者可在后续块仍生成时先显示首块。 整段离线生成与分块流式生成的差别：后者可在后续块仍生成时先显示首块。 https://paperbridge.wiki/paper/arxiv-2601-12145-zh-arxiv-2601-12145 https://paperbridge.wiki/paper-images/arxiv-2601-12145-zh-arxiv-2601-12145/1-markdown-softmax-tda.png Softmax 与 TDA 的结构差异 Softmax 与 TDA 的结构差异 https://paperbridge.wiki/paper-images/arxiv-2601-12145-zh-arxiv-2601-12145/2-markdown-tda.png TDA 的双视角阈值与相减流程 TDA 的双视角阈值与相减流程 https://paperbridge.wiki/paper-images/arxiv-2601-12145-zh-arxiv-2601-12145/3-markdown.png 阈值过滤的收益与死头风险 阈值过滤的收益与死头风险 https://paperbridge.wiki/paper/arxiv-2211-01426-zh-arxiv-2211-01426 https://paperbridge.wiki/paper-images/arxiv-2211-01426-zh-arxiv-2211-01426/1-markdown.png 论文从元数据出发，依次研究行为类型、朋友相似性与匹配后的后续差异 论文从元数据出发，依次研究行为类型、朋友相似性与匹配后的后续差异 https://paperbridge.wiki/paper-images/arxiv-2211-01426-zh-arxiv-2211-01426/2-markdown.png 互惠且有选择的密集双向交流，与不互惠且少选择的广泛单向交流 互惠且有选择的密集双向交流，与不互惠且少选择的广泛单向交流 https://paperbridge.wiki/paper-images/arxiv-2211-01426-zh-arxiv-2211-01426/3-markdown.png 观察性数据先按可观测特征匹配，再比较后续行为 观察性数据先按可观测特征匹配，再比较后续行为 https://paperbridge.wiki/paper/arxiv-2305-18290-zh-arxiv-2305-18290 https://paperbridge.wiki/paper-images/arxiv-2305-18290-zh-arxiv-2305-18290/1-markdown-rlhf-dpo.png 传统 RLHF 需要显式奖励模型与强化学习循环；DPO 将偏好对直接用于更新语言模型。 传统 RLHF 需要显式奖励模型与强化学习循环；DPO 将偏好对直接用于更新语言模型。 https://paperbridge.wiki/paper-images/arxiv-2305-18290-zh-arxiv-2305-18290/2-markdown-dpo.png 一个 DPO 样本：同一提示下，提高偏好回答、压低拒绝回答相对参考模型的概率，再更新语言模型。 一个 DPO 样本：同一提示下，提高偏好回答、压低拒绝回答相对参考模型的概率，再更新语言模型。 https://paperbridge.wiki/paper-images/arxiv-2305-18290-zh-arxiv-2305-18290/3-markdown-6b.png 论文直接测试了三类任务和最高 6B 模型；更大规模、分布外泛化、奖励过优化与评估偏差仍待回答。 论文直接测试了三类任务和最高 6B 模型；更大规模、分布外泛化、奖励过优化与评估偏差仍待回答。 https://paperbridge.wiki/paper/arxiv-2212-04356-zh-arxiv-2212-04356 https://paperbridge.wiki/paper-images/arxiv-2212-04356-zh-arxiv-2212-04356/1-markdown.png 传统逐场景微调与多来源预训练后的零样本迁移对比 传统逐场景微调与多来源预训练后的零样本迁移对比 https://paperbridge.wiki/paper-images/arxiv-2212-04356-zh-arxiv-2212-04356/2-markdown.png 从网络音频文本对到统一模型的弱监督数据管线 从网络音频文本对到统一模型的弱监督数据管线 https://paperbridge.wiki/paper-images/arxiv-2212-04356-zh-arxiv-2212-04356/3-markdown.png 广泛数据覆盖带来的适应性，以及长音频和低资源语言的风险 广泛数据覆盖带来的适应性，以及长音频和低资源语言的风险 https://paperbridge.wiki/paper/zh-nature-com https://paperbridge.wiki/paper-images/zh-nature-com/1-markdown.png 从氨基酸序列和同源序列推断折叠约束 从氨基酸序列和同源序列推断折叠约束 https://paperbridge.wiki/paper-images/zh-nature-com/2-markdown-alphafold-msa.png AlphaFold 从序列与 MSA 到三维结构和可信度的概念流程 AlphaFold 从序列与 MSA 到三维结构和可信度的概念流程 https://paperbridge.wiki/paper-images/zh-nature-com/3-markdown-alphafold.png 如何阅读 AlphaFold 可信度与两个典型限制 如何阅读 AlphaFold 可信度与两个典型限制 https://paperbridge.wiki/paper/arxiv-2102-12092-zh-arxiv-2102-12092 https://paperbridge.wiki/paper-images/arxiv-2102-12092-zh-arxiv-2102-12092/1-markdown-token.png 像素序列与压缩图像 token 的教学对比 像素序列与压缩图像 token 的教学对比 https://paperbridge.wiki/paper-images/arxiv-2102-12092-zh-arxiv-2102-12092/2-markdown.png 从图像压缩、文本编码到自回归生成的两阶段流程 从图像压缩、文本编码到自回归生成的两阶段流程 https://paperbridge.wiki/paper-images/arxiv-2102-12092-zh-arxiv-2102-12092/3-markdown.png 多候选生成与对比模型重排带来的计算权衡 多候选生成与对比模型重排带来的计算权衡 https://paperbridge.wiki/paper/arxiv-2005-12872-zh-arxiv-2005-12872 https://paperbridge.wiki/paper-images/arxiv-2005-12872-zh-arxiv-2005-12872/1-markdown-detr.png 传统检测流程与 DETR 直接集合输出的对比 传统检测流程与 DETR 直接集合输出的对比 https://paperbridge.wiki/paper-images/arxiv-2005-12872-zh-arxiv-2005-12872/2-markdown-detr.png DETR 从图像特征到并行预测的端到端流程 DETR 从图像特征到并行预测的端到端流程 https://paperbridge.wiki/paper-images/arxiv-2005-12872-zh-arxiv-2005-12872/3-markdown.png 真实目标与预测集合的一对一二分匹配 真实目标与预测集合的一对一二分匹配 https://paperbridge.wiki/paper/arxiv-2003-08934-zh-arxiv-2003-08934 https://paperbridge.wiki/paper-images/arxiv-2003-08934-zh-arxiv-2003-08934/1-markdown.png 多个相机视角、空间采样点与最终像素之间的关系 多个相机视角、空间采样点与最终像素之间的关系 https://paperbridge.wiki/paper-images/arxiv-2003-08934-zh-arxiv-2003-08934/2-markdown-nerf.png NeRF 从相机光线到体渲染像素的计算流程 NeRF 从相机光线到体渲染像素的计算流程 https://paperbridge.wiki/paper-images/arxiv-2003-08934-zh-arxiv-2003-08934/3-markdown.png 粗采样估计权重，再将细采样集中于重点区域 粗采样估计权重，再将细采样集中于重点区域 https://paperbridge.wiki/paper/arxiv-1910-10683-zh-arxiv-1910-10683 https://paperbridge.wiki/paper-images/arxiv-1910-10683-zh-arxiv-1910-10683/1-markdown-nlp.png 多种 NLP 任务统一为文本到文本的流程 多种 NLP 任务统一为文本到文本的流程 https://paperbridge.wiki/paper-images/arxiv-1910-10683-zh-arxiv-1910-10683/2-markdown-t5.png T5 连续片段破坏的预训练流程 T5 连续片段破坏的预训练流程 https://paperbridge.wiki/paper-images/arxiv-1910-10683-zh-arxiv-1910-10683/3-markdown-t5.png T5 实验证据的边界 T5 实验证据的边界 https://paperbridge.wiki/paper/zh-cdn-openai-com-2 https://paperbridge.wiki/paper-images/zh-cdn-openai-com-2/1-markdown.png 两种训练范式：逐任务标注与从多样网页文本中学习 两种训练范式：逐任务标注与从多样网页文本中学习 https://paperbridge.wiki/paper-images/zh-cdn-openai-com-2/2-markdown.png 从自然文本示范到多种零样本行为 从自然文本示范到多种零样本行为 https://paperbridge.wiki/paper-images/zh-cdn-openai-com-2/3-markdown.png 零样本能力跨任务不均衡，并需检查三类风险 零样本能力跨任务不均衡，并需检查三类风险 https://paperbridge.wiki/paper/zh-cdn-openai-com https://paperbridge.wiki/paper-images/zh-cdn-openai-com/1-markdown-transformer.png 两阶段迁移：无标注长文本经过生成式预训练进入同一个 Transformer，再用标注数据微调到多类理解任务。 两阶段迁移：无标注长文本经过生成式预训练进入同一个 Transformer，再用标注数据微调到多类理解任务。 https://paperbridge.wiki/paper-images/zh-cdn-openai-com/2-markdown-token.png 不同结构化任务都转换为 token 序列，进入同一个模型。 不同结构化任务都转换为 token 序列，进入同一个模型。 https://paperbridge.wiki/paper-images/zh-cdn-openai-com/3-markdown.png 左侧以九个蓝格概括十二项基准中的九项领先；右侧提示小数据、英语范围与未报告训练成本三条边界。 左侧以九个蓝格概括十二项基准中的九项领先；右侧提示小数据、英语范围与未报告训练成本三条边界。 https://paperbridge.wiki/paper/arxiv-1802-05365-zh-arxiv-1802-05365 https://paperbridge.wiki/paper-images/arxiv-1802-05365-zh-arxiv-1802-05365/1-markdown.png 静态词向量与上下文词表示的区别 静态词向量与上下文词表示的区别 https://paperbridge.wiki/paper-images/arxiv-1802-05365-zh-arxiv-1802-05365/2-markdown-elmo.png ELMo 从整句到下游模型的数据流 ELMo 从整句到下游模型的数据流 https://paperbridge.wiki/paper-images/arxiv-1802-05365-zh-arxiv-1802-05365/3-markdown.png 不同层提供不同语言信号 不同层提供不同语言信号 https://paperbridge.wiki/paper/arxiv-1712-01815-zh-arxiv-1712-01815 https://paperbridge.wiki/paper-images/arxiv-1712-01815-zh-arxiv-1712-01815/1-markdown-alphazero-mcts.png 传统棋类程序依赖专家特征与广泛搜索；AlphaZero 以规则、自我对弈、神经网络和 MCTS 形成另一条路径。 传统棋类程序依赖专家特征与广泛搜索；AlphaZero 以规则、自我对弈、神经网络和 MCTS 形成另一条路径。 https://paperbridge.wiki/paper-images/arxiv-1712-01815-zh-arxiv-1712-01815/2-markdown-mcts.png 神经网络输出策略与价值，MCTS 用它们选棋，自我对弈产生赛果，再更新同一网络。 神经网络输出策略与价值，MCTS 用它们选棋，自我对弈产生赛果，再更新同一网络。 https://paperbridge.wiki/paper-images/arxiv-1712-01815-zh-arxiv-1712-01815/3-markdown.png 同一棋局下，宽而浅的搜索树与由神经网络引导的窄而深搜索树形成直觉对比。 同一棋局下，宽而浅的搜索树与由神经网络引导的窄而深搜索树形成直觉对比。 https://paperbridge.wiki/paper/arxiv-1707-06347-zh-arxiv-1707-06347 https://paperbridge.wiki/paper-images/arxiv-1707-06347-zh-arxiv-1707-06347/1-markdown-ppo.png 同一批轨迹反复更新时，无护栏可能让策略跳太远；PPO 用裁剪限制有利方向上的过度更新。 同一批轨迹反复更新时，无护栏可能让策略跳太远；PPO 用裁剪限制有利方向上的过度更新。 https://paperbridge.wiki/paper-images/arxiv-1707-06347-zh-arxiv-1707-06347/2-markdown.png 把旧策略想成安全带中心：有利变化超出边界后不再获得额外激励，而不利变化仍计入损失。 把旧策略想成安全带中心：有利变化超出边界后不再获得额外激励，而不利变化仍计入损失。 https://paperbridge.wiki/paper-images/arxiv-1707-06347-zh-arxiv-1707-06347/3-markdown-ppo-actor-critic.png PPO 的一轮 actor-critic 训练：并行采样、汇成轨迹批次、估计优势、多轮小批量优化、更新策略，再回到采样。 PPO 的一轮 actor-critic 训练：并行采样、汇成轨迹批次、估计优势、多轮小批量优化、更新策略，再回到采样。 https://paperbridge.wiki/paper/arxiv-1506-02640-zh-arxiv-1506-02640 https://paperbridge.wiki/paper-images/arxiv-1506-02640-zh-arxiv-1506-02640/1-markdown-yolo.png 传统多阶段流程与 YOLO 单网络流程对比 传统多阶段流程与 YOLO 单网络流程对比 https://paperbridge.wiki/paper-images/arxiv-1506-02640-zh-arxiv-1506-02640/2-markdown-yolo-7-7.png YOLO 的 7×7 网格责任与输出合成 YOLO 的 7×7 网格责任与输出合成 https://paperbridge.wiki/paper-images/arxiv-1506-02640-zh-arxiv-1506-02640/3-markdown.png 三种检测器的速度、精度与主要风险 三种检测器的速度、精度与主要风险 https://paperbridge.wiki/paper/arxiv-1505-04597-zh-arxiv-1505-04597 https://paperbridge.wiki/paper-images/arxiv-1505-04597-zh-arxiv-1505-04597/1-markdown-u-net.png U-Net 的概念机制：收缩路径提取上下文，扩张路径恢复空间分辨率，跳跃连接补回同尺度的位置细节。 U-Net 的概念机制：收缩路径提取上下文，扩张路径恢复空间分辨率，跳跃连接补回同尺度的位置细节。 https://paperbridge.wiki/paper-images/arxiv-1505-04597-zh-arxiv-1505-04597/2-markdown.png 边界加权把训练注意力集中在粘连细胞之间的狭窄区域，帮助模型输出分开的对象。 边界加权把训练注意力集中在粘连细胞之间的狭窄区域，帮助模型输出分开的对象。 https://paperbridge.wiki/paper-images/arxiv-1505-04597-zh-arxiv-1505-04597/3-markdown.png 重叠分块把大幅显微图像切成相互覆盖的输入块，边缘镜像补齐上下文，再拼成连续分割图。 重叠分块把大幅显微图像切成相互覆盖的输入块，边缘镜像补齐上下文，再拼成连续分割图。 https://paperbridge.wiki/paper/arxiv-1502-03167-zh-arxiv-1502-03167 https://paperbridge.wiki/paper-images/arxiv-1502-03167-zh-arxiv-1502-03167/1-markdown.png 上游参数变化使后层输入漂移，并可能把激活推入饱和区，最终削弱梯度。 上游参数变化使后层输入漂移，并可能把激活推入饱和区，最终削弱梯度。 https://paperbridge.wiki/paper-images/arxiv-1502-03167-zh-arxiv-1502-03167/2-markdown-bn.png BN 依次计算小批次统计量、标准化，再进行可学习缩放与偏移。 BN 依次计算小批次统计量、标准化，再进行可学习缩放与偏移。 https://paperbridge.wiki/paper-images/arxiv-1502-03167-zh-arxiv-1502-03167/3-markdown.png 训练依赖当前小批次统计量，推理使用固定总体统计量。 训练依赖当前小批次统计量，推理使用固定总体统计量。 https://paperbridge.wiki/paper/arxiv-1412-6980-zh-arxiv-1412-6980 https://paperbridge.wiki/paper-images/arxiv-1412-6980-zh-arxiv-1412-6980/1-markdown.png 同一全局步长面对陡峭、稀疏和噪声梯度时的困难 同一全局步长面对陡峭、稀疏和噪声梯度时的困难 https://paperbridge.wiki/paper-images/arxiv-1412-6980-zh-arxiv-1412-6980/2-markdown-adam.png Adam 单步：随机梯度分成方向记忆和尺度记忆，校正后合成自适应更新 Adam 单步：随机梯度分成方向记忆和尺度记忆，校正后合成自适应更新 https://paperbridge.wiki/paper-images/arxiv-1412-6980-zh-arxiv-1412-6980/3-markdown-adam.png Adam 原论文的经验覆盖与理论边界 Adam 原论文的经验覆盖与理论边界 https://paperbridge.wiki/paper/arxiv-1409-0473-zh-arxiv-1409-0473 https://paperbridge.wiki/paper-images/arxiv-1409-0473-zh-arxiv-1409-0473/1-markdown.png 固定向量瓶颈示意 固定向量瓶颈示意 https://paperbridge.wiki/paper-images/arxiv-1409-0473-zh-arxiv-1409-0473/2-markdown.png 注意力对齐机制 注意力对齐机制 https://paperbridge.wiki/paper-images/arxiv-1409-0473-zh-arxiv-1409-0473/3-markdown.png 固定压缩与动态关注 固定压缩与动态关注 https://paperbridge.wiki/paper/arxiv-1409-3215-zh-arxiv-1409-3215 https://paperbridge.wiki/paper-images/arxiv-1409-3215-zh-arxiv-1409-3215/1-markdown.png 序列到序列架构：编码器把源序列压成固定长度向量，解码器据此逐步生成目标序列。 序列到序列架构：编码器把源序列压成固定长度向量，解码器据此逐步生成目标序列。 https://paperbridge.wiki/paper-images/arxiv-1409-3215-zh-arxiv-1409-3215/2-markdown.png 只反转源句后，最早输入—输出依赖变短；目标句顺序保持不变。 只反转源句后，最早输入—输出依赖变短；目标句顺序保持不变。 https://paperbridge.wiki/paper-images/arxiv-1409-3215-zh-arxiv-1409-3215/3-markdown.png 束搜索逐步扩展候选，只保留高分路径，并在结束标记出现后完成输出。 束搜索逐步扩展候选，只保留高分路径，并在结束标记出现后完成输出。 https://paperbridge.wiki/paper/arxiv-1301-3781-zh-arxiv-1301-3781 https://paperbridge.wiki/paper-images/arxiv-1301-3781-zh-arxiv-1301-3781/1-markdown.png 从孤立编号到连续向量空间：编号本身没有相似距离；连续向量可让使用方式相近的词靠近，并显露近似平行的关系。 从孤立编号到连续向量空间：编号本身没有相似距离；连续向量可让使用方式相近的词靠近，并显露近似平行的关系。 https://paperbridge.wiki/paper-images/arxiv-1301-3781-zh-arxiv-1301-3781/2-markdown-cbow-skip-gram.png CBOW 聚合上下文预测目标词；Skip-gram 从目标词向外预测上下文。 CBOW 聚合上下文预测目标词；Skip-gram 从目标词向外预测上下文。 https://paperbridge.wiki/paper-images/arxiv-1301-3781-zh-arxiv-1301-3781/3-markdown-man-king-woman-queen.png 词向量空间中，man 到 king 与 woman 到 queen 呈近似平行位移。 词向量空间中，man 到 king 与 woman 到 queen 呈近似平行位移。 https://paperbridge.wiki/paper/arxiv-1312-5602-zh-arxiv-1312-5602 https://paperbridge.wiki/paper-images/arxiv-1312-5602-zh-arxiv-1312-5602/1-markdown-dqn-q.png DQN 的交互与学习闭环：画面经 Q 网络产生动作价值，动作改变环境；奖励与新画面被存入经验回放，再随机抽样更新网络。 DQN 的交互与学习闭环：画面经 Q 网络产生动作价值，动作改变环境；奖励与新画面被存入经验回放，再随机抽样更新网络。 https://paperbridge.wiki/paper-images/arxiv-1312-5602-zh-arxiv-1312-5602/2-markdown-q.png 传统路线先做人工特征工程，再估计价值；本文把原始像素直接交给卷积 Q 网络。 传统路线先做人工特征工程，再估计价值；本文把原始像素直接交给卷积 Q 网络。 https://paperbridge.wiki/paper-images/arxiv-1312-5602-zh-arxiv-1312-5602/3-markdown-dqn-q.png 论文使用的 DQN 处理结构：四帧输入经过两层卷积和全连接层，为每个合法动作同时输出一个 Q 值。 论文使用的 DQN 处理结构：四帧输入经过两层卷积和全连接层，为每个合法动作同时输出一个 Q 值。 https://paperbridge.wiki/paper/en-proceedings-neurips-cc-plain-english-guide-2 https://paperbridge.wiki/paper-images/en-proceedings-neurips-cc-plain-english-guide-2/1-markdown-a-left-to-right-teaching-diagram-of-the-network-from-an-image-t.png A left-to-right teaching diagram of the network, from an image through five convolutional layers and three fully connected layers to 1,000 classes. A left-to-right teaching diagram of the network, from an image through five convolutional layers and three fully connected layers to 1,000 classes. https://paperbridge.wiki/paper-images/en-proceedings-neurips-cc-plain-english-guide-2/2-markdown-a-comparison-showing-random-hidden-units-turned-off-during-trai.png A comparison showing random hidden units turned off during training and all units active during testing. A comparison showing random hidden units turned off during training and all units active during testing. https://paperbridge.wiki/paper-images/en-proceedings-neurips-cc-plain-english-guide-2/3-markdown-four-ingredients-large-data-a-deep-model-two-gpus-and-regulariz.png Four ingredients—large data, a deep model, two GPUs, and regularization—feed a system that is trainable at scale. Four ingredients—large data, a deep model, two GPUs, and regularization—feed a system that is trainable at scale. https://paperbridge.wiki/paper/ja-proceedings-neurips-cc-2 https://paperbridge.wiki/paper-images/ja-proceedings-neurips-cc-2/1-markdown-rgb-5-3-1000.png RGB画像から5つの畳み込み層、3つの全結合層を通って1000クラスへ進む情報の流れ RGB画像から5つの畳み込み層、3つの全結合層を通って1000クラスへ進む情報の流れ https://paperbridge.wiki/paper-images/ja-proceedings-neurips-cc-2/2-markdown-relu-2-gpu-dropout-cnn.png ReLU、2 GPU、データ拡張、Dropoutが大規模CNNの学習を支える ReLU、2 GPU、データ拡張、Dropoutが大規模CNNの学習を支える https://paperbridge.wiki/paper-images/ja-proceedings-neurips-cc-2/3-markdown-top-1-1-top-5-5.png Top-1は1位だけ、Top-5は上位5候補内に正解があるかを見る Top-1は1位だけ、Top-5は上位5候補内に正解があるかを見る https://paperbridge.wiki/paper/zh-proceedings-neurips-cc-2 https://paperbridge.wiki/paper-images/zh-proceedings-neurips-cc-2/1-markdown-alexnet-top-5.png AlexNet 从图像到 Top-5 预测的教学流程图 AlexNet 从图像到 Top-5 预测的教学流程图 https://paperbridge.wiki/paper-images/zh-proceedings-neurips-cc-2/2-markdown.png 手工特征流水线与端到端深层学习配方的对比 手工特征流水线与端到端深层学习配方的对比 https://paperbridge.wiki/paper-images/zh-proceedings-neurips-cc-2/3-markdown-dropout.png Dropout 在训练和测试阶段的机制示意 Dropout 在训练和测试阶段的机制示意 https://paperbridge.wiki/paper/arxiv-2304-08485-ja-arxiv-2304-08485 https://paperbridge.wiki/paper-images/arxiv-2304-08485-ja-arxiv-2304-08485/1-markdown-3.png 画像注釈を3種類の指示応答データへ変換する流れ 画像注釈を3種類の指示応答データへ変換する流れ https://paperbridge.wiki/paper-images/arxiv-2304-08485-ja-arxiv-2304-08485/2-markdown-llava.png LLaVAの二段階学習 LLaVAの二段階学習 https://paperbridge.wiki/paper-images/arxiv-2304-08485-ja-arxiv-2304-08485/3-markdown.png 指示追従の成功と、画像全体の関係を結べない失敗 指示追従の成功と、画像全体の関係を結べない失敗 https://paperbridge.wiki/paper/arxiv-2304-02643-ja-arxiv-2304-02643 https://paperbridge.wiki/paper-images/arxiv-2304-02643-ja-arxiv-2304-02643/1-markdown-1-sam.png 1点が部分・物体・全体のどれを指すかは曖昧であり、SAMは複数候補で扱う 1点が部分・物体・全体のどれを指すかは曖昧であり、SAMは複数候補で扱う https://paperbridge.wiki/paper-images/arxiv-2304-02643-ja-arxiv-2304-02643/2-markdown-sam.png 画像とプロンプトを別々に符号化し、軽量デコーダで候補マスクを出すSAMの処理経路 画像とプロンプトを別々に符号化し、軽量デコーダで候補マスクを出すSAMの処理経路 https://paperbridge.wiki/paper-images/arxiv-2304-02643-ja-arxiv-2304-02643/3-markdown.png 人手支援、半自動、完全自動へ進み、集めたデータでモデルを改善する循環 人手支援、半自動、完全自動へ進み、集めたデータでモデルを改善する循環 https://paperbridge.wiki/paper/arxiv-2210-03629-ja-arxiv-2210-03629 https://paperbridge.wiki/paper-images/arxiv-2210-03629-ja-arxiv-2210-03629/1-markdown-react.png 標準、推論のみ、行動のみ、ReActの比較 標準、推論のみ、行動のみ、ReActの比較 https://paperbridge.wiki/paper-images/arxiv-2210-03629-ja-arxiv-2210-03629/2-markdown.png 思考・行動・観察・更新の循環 思考・行動・観察・更新の循環 https://paperbridge.wiki/paper-images/arxiv-2210-03629-ja-arxiv-2210-03629/3-markdown.png 検索から成功または失敗へ分岐する経路 検索から成功または失敗へ分岐する経路 https://paperbridge.wiki/paper/arxiv-2203-15556-ja-arxiv-2203-15556 https://paperbridge.wiki/paper-images/arxiv-2203-15556-ja-arxiv-2203-15556/1-markdown.png 同じ学習計算量を、巨大なモデルと少ないデータに振る場合、より小さなモデルと多いデータに振る場合の比較 同じ学習計算量を、巨大なモデルと少ないデータに振る場合、より小さなモデルと多いデータに振る場合の比較 https://paperbridge.wiki/paper-images/arxiv-2203-15556-ja-arxiv-2203-15556/2-markdown-flops-3.png 学習曲線、同一FLOPs、損失関数という3つの推定が同じ結論へ集まる 学習曲線、同一FLOPs、損失関数という3つの推定が同じ結論へ集まる https://paperbridge.wiki/paper-images/arxiv-2203-15556-ja-arxiv-2203-15556/3-markdown.png 計算予算からモデルと学習データを同時に決め、性能と推論効率を得る一方でデータ面のリスクを確認する流れ 計算予算からモデルと学習データを同時に決め、性能と推論効率を得る一方でデータ面のリスクを確認する流れ https://paperbridge.wiki/paper/arxiv-2201-11903-ja-arxiv-2201-11903 https://paperbridge.wiki/paper-images/arxiv-2201-11903-ja-arxiv-2201-11903/1-markdown-cot.png 標準プロンプトは答えへ直行する一方、CoTプロンプトは途中ステップを例と出力に含める 標準プロンプトは答えへ直行する一方、CoTプロンプトは途中ステップを例と出力に含める https://paperbridge.wiki/paper-images/arxiv-2201-11903-ja-arxiv-2201-11903/2-markdown-cot.png CoTの効果は小型モデルでは安定せず、大規模モデルで段階的な処理として現れたという概念図 CoTの効果は小型モデルでは安定せず、大規模モデルで段階的な処理として現れたという概念図 https://paperbridge.wiki/paper-images/arxiv-2201-11903-ja-arxiv-2201-11903/3-markdown.png モデルが生成した途中ステップと最終回答を検証してから利用判断へ進める流れ モデルが生成した途中ステップと最終回答を検証してから利用判断へ進める流れ https://paperbridge.wiki/paper/arxiv-2203-02155-ja-arxiv-2203-02155 https://paperbridge.wiki/paper-images/arxiv-2203-02155-ja-arxiv-2203-02155/1-markdown.png 次単語予測と利用者意図の目的のずれ 次単語予測と利用者意図の目的のずれ https://paperbridge.wiki/paper-images/arxiv-2203-02155-ja-arxiv-2203-02155/2-markdown-rlhf.png 実演、順位付け、最適化からなるRLHFの流れ 実演、順位付け、最適化からなるRLHFの流れ https://paperbridge.wiki/paper-images/arxiv-2203-02155-ja-arxiv-2203-02155/3-markdown.png 少数のラベラーの判断と広い影響範囲 少数のラベラーの判断と広い影響範囲 https://paperbridge.wiki/paper/arxiv-2112-10752-ja-arxiv-2112-10752 https://paperbridge.wiki/paper-images/arxiv-2112-10752-ja-arxiv-2112-10752/1-markdown.png 画素空間では大きな格子を何度も処理する一方、潜在空間では小さな表現上で反復し、最後に復号する比較図 画素空間では大きな格子を何度も処理する一方、潜在空間では小さな表現上で反復し、最後に復号する比較図 https://paperbridge.wiki/paper-images/arxiv-2112-10752-ja-arxiv-2112-10752/2-markdown.png 画像を潜在表現へ符号化し、条件入力をクロス注意で参照しながらノイズ除去し、最後に復号する流れ 画像を潜在表現へ符号化し、条件入力をクロス注意で参照しながらノイズ除去し、最後に復号する流れ https://paperbridge.wiki/paper-images/arxiv-2112-10752-ja-arxiv-2112-10752/3-markdown.png 圧縮が弱い場合、適度な場合、強すぎる場合の計算量と細部保持の違い 圧縮が弱い場合、適度な場合、強すぎる場合の計算量と細部保持の違い https://paperbridge.wiki/paper/arxiv-2106-09685-ja-arxiv-2106-09685 https://paperbridge.wiki/paper-images/arxiv-2106-09685-ja-arxiv-2106-09685/1-markdown-lora.png 全体微調整ではモデル全体を複製する一方、LoRAでは共有モデルに小さなタスク差分を付ける 全体微調整ではモデル全体を複製する一方、LoRAでは共有モデルに小さなタスク差分を付ける https://paperbridge.wiki/paper-images/arxiv-2106-09685-ja-arxiv-2106-09685/2-markdown.png 入力が凍結重みの経路と学習可能な低ランク経路に分かれ、最後に加算される 入力が凍結重みの経路と学習可能な低ランク経路に分かれ、最後に加算される https://paperbridge.wiki/paper-images/arxiv-2106-09685-ja-arxiv-2106-09685/3-markdown-lora.png 凍結した重みとLoRA差分を推論前に統合し、通常の推論経路にする 凍結した重みとLoRA差分を推論前に統合し、通常の推論経路にする https://paperbridge.wiki/paper/arxiv-2103-00020-ja-arxiv-2103-00020 https://paperbridge.wiki/paper-images/arxiv-2103-00020-ja-arxiv-2103-00020/1-markdown-clip.png 固定ラベル方式とCLIPの違い 固定ラベル方式とCLIPの違い https://paperbridge.wiki/paper-images/arxiv-2103-00020-ja-arxiv-2103-00020/2-markdown-clip.png CLIPの対照学習 CLIPの対照学習 https://paperbridge.wiki/paper-images/arxiv-2103-00020-ja-arxiv-2103-00020/3-markdown.png 言葉から作るゼロショット分類 言葉から作るゼロショット分類 https://paperbridge.wiki/paper/arxiv-2006-11239-ja-arxiv-2006-11239 https://paperbridge.wiki/paper-images/arxiv-2006-11239-ja-arxiv-2006-11239/1-markdown.png 元画像にノイズを加える順過程と、ノイズから画像を復元する逆過程 元画像にノイズを加える順過程と、ノイズから画像を復元する逆過程 https://paperbridge.wiki/paper-images/arxiv-2006-11239-ja-arxiv-2006-11239/2-markdown.png 学習時のノイズ予測と生成時の反復除去 学習時のノイズ予測と生成時の反復除去 https://paperbridge.wiki/paper-images/arxiv-2006-11239-ja-arxiv-2006-11239/3-markdown.png 粗い構造から細部へ進む生成と、画質・速度・尤度のトレードオフ 粗い構造から細部へ進む生成と、画質・速度・尤度のトレードオフ https://paperbridge.wiki/paper/arxiv-2010-11929-ja-arxiv-2010-11929 https://paperbridge.wiki/paper-images/arxiv-2010-11929-ja-arxiv-2010-11929/1-markdown.png 画像をパッチ列に変えて分類する流れ 画像をパッチ列に変えて分類する流れ https://paperbridge.wiki/paper-images/arxiv-2010-11929-ja-arxiv-2010-11929/2-markdown.png 局所的な集約と全体的な注意の違い 局所的な集約と全体的な注意の違い https://paperbridge.wiki/paper-images/arxiv-2010-11929-ja-arxiv-2010-11929/3-markdown.png 事前学習データ量による定性的な違い 事前学習データ量による定性的な違い https://paperbridge.wiki/paper/arxiv-2005-11401-ja-arxiv-2005-11401 https://paperbridge.wiki/paper-images/arxiv-2005-11401-ja-arxiv-2005-11401/1-markdown-wikipedia-rag.png 質問を検索し、取得したWikipedia文章と質問を生成器へ渡して回答するRAGの流れ 質問を検索し、取得したWikipedia文章と質問を生成器へ渡して回答するRAGの流れ https://paperbridge.wiki/paper-images/arxiv-2005-11401-ja-arxiv-2005-11401/2-markdown-rag-sequence-rag-token.png RAG-Sequenceは文全体に同じ文書を使い、RAG-Tokenは単語ごとに文書を切り替えられる RAG-Sequenceは文全体に同じ文書を使い、RAG-Tokenは単語ごとに文書を切り替えられる https://paperbridge.wiki/paper-images/arxiv-2005-11401-ja-arxiv-2005-11401/3-markdown.png 古い索引を新しい索引へ差し替え、同じ生成器から更新後の回答を得る 古い索引を新しい索引へ差し替え、同じ生成器から更新後の回答を得る https://paperbridge.wiki/paper/arxiv-2001-08361-ja-arxiv-2001-08361 https://paperbridge.wiki/paper-images/arxiv-2001-08361-ja-arxiv-2001-08361/1-markdown.png モデル規模・データ量・計算量を増やすと、他がボトルネックでない範囲で損失が下がるという概念図 モデル規模・データ量・計算量を増やすと、他がボトルネックでない範囲で損失が下がるという概念図 https://paperbridge.wiki/paper-images/arxiv-2001-08361-ja-arxiv-2001-08361/2-markdown.png 同じ計算予算で、小型モデルを収束まで長く学習する経路と、大型モデルを短く学習して早期停止する経路の比較 同じ計算予算で、小型モデルを収束まで長く学習する経路と、大型モデルを短く学習して早期停止する経路の比較 https://paperbridge.wiki/paper-images/arxiv-2001-08361-ja-arxiv-2001-08361/3-markdown.png 測定範囲から未検証領域へ外挿すると、理論・データ・計算量推定の不確実性が増すことを示す概念図 測定範囲から未検証領域へ外挿すると、理論・データ・計算量推定の不確実性が増すことを示す概念図 https://paperbridge.wiki/paper/arxiv-2005-14165-ja-arxiv-2005-14165 https://paperbridge.wiki/paper-images/arxiv-2005-14165-ja-arxiv-2005-14165/1-markdown.png 微調整と文脈内学習の違い 微調整と文脈内学習の違い https://paperbridge.wiki/paper-images/arxiv-2005-14165-ja-arxiv-2005-14165/2-markdown.png 文脈内学習の推論フロー 文脈内学習の推論フロー https://paperbridge.wiki/paper-images/arxiv-2005-14165-ja-arxiv-2005-14165/3-markdown.png 確認できた能力と残る限界 確認できた能力と残る限界 https://paperbridge.wiki/paper/arxiv-1810-04805-ja-arxiv-1810-04805 https://paperbridge.wiki/paper-images/arxiv-1810-04805-ja-arxiv-1810-04805/1-markdown-bert.png 一方向・別々の双方向・BERTの深い双方向を比べる模式図 一方向・別々の双方向・BERTの深い双方向を比べる模式図 https://paperbridge.wiki/paper-images/arxiv-1810-04805-ja-arxiv-1810-04805/2-markdown-mlm-nsp.png MLMとNSPという二つの事前学習課題 MLMとNSPという二つの事前学習課題 https://paperbridge.wiki/paper-images/arxiv-1810-04805-ja-arxiv-1810-04805/3-markdown.png ラベルなし文章の事前学習から複数タスクへの転用 ラベルなし文章の事前学習から複数タスクへの転用 https://paperbridge.wiki/paper/arxiv-1706-03762-ja-arxiv-1706-03762 https://paperbridge.wiki/paper-images/arxiv-1706-03762-ja-arxiv-1706-03762/1-markdown-rnn-self-attention.png RNNの逐次処理とSelf-Attentionの並列比較 RNNの逐次処理とSelf-Attentionの並列比較 https://paperbridge.wiki/paper-images/arxiv-1706-03762-ja-arxiv-1706-03762/2-markdown-transformer.png Transformerの情報の流れ Transformerの情報の流れ https://paperbridge.wiki/paper-images/arxiv-1706-03762-ja-arxiv-1706-03762/3-markdown-multi-head-attention.png Multi-Head Attentionの直感図 Multi-Head Attentionの直感図 https://paperbridge.wiki/paper/arxiv-1512-03385-ja-arxiv-1512-03385 https://paperbridge.wiki/paper-images/arxiv-1512-03385-ja-arxiv-1512-03385/1-markdown-plain-network-plain-network.png 浅い Plain network と深い Plain network の最適化の違いを示す概念図 浅い Plain network と深い Plain network の最適化の違いを示す概念図 https://paperbridge.wiki/paper-images/arxiv-1512-03385-ja-arxiv-1512-03385/2-markdown-x-f-x.png 残差ブロックで入力 x と学習した差分 F(x) を加える仕組み 残差ブロックで入力 x と学習した差分 F(x) を加える仕組み https://paperbridge.wiki/paper-images/arxiv-1512-03385-ja-arxiv-1512-03385/3-markdown-plain-resnet-resnet.png Plain、ResNet、超深層 ResNet での深さと結果の関係を示す概念図 Plain、ResNet、超深層 ResNet での深さと結果の関係を示す概念図 https://paperbridge.wiki/paper/arxiv-1406-2661-ja-arxiv-1406-2661 https://paperbridge.wiki/paper-images/arxiv-1406-2661-ja-arxiv-1406-2661/1-markdown-gan.png GANの基本ループ。乱数から生成例を作り、実データとともに識別器へ渡し、その学習信号を生成器へ返す。 GANの基本ループ。乱数から生成例を作り、実データとともに識別器へ渡し、その学習信号を生成器へ返す。 https://paperbridge.wiki/paper-images/arxiv-1406-2661-ja-arxiv-1406-2661/2-markdown.png 識別器の更新と生成器の更新を交互に繰り返す訓練手順。 識別器の更新と生成器の更新を交互に繰り返す訓練手順。 https://paperbridge.wiki/paper-images/arxiv-1406-2661-ja-arxiv-1406-2661/3-markdown.png 生成分布が実データ分布へ近づき、理論上は一致すると識別器の判定が二分の一になる。 生成分布が実データ分布へ近づき、理論上は一致すると識別器の判定が二分の一になる。 https://paperbridge.wiki/paper/arxiv-1312-6114-ja-arxiv-1312-6114 https://paperbridge.wiki/paper-images/arxiv-1312-6114-ja-arxiv-1312-6114/1-markdown-aevb.png 従来の反復推論とAEVBの共有エンコーダーの比較 従来の反復推論とAEVBの共有エンコーダーの比較 https://paperbridge.wiki/paper-images/arxiv-1312-6114-ja-arxiv-1312-6114/2-markdown.png 再パラメータ化による順方向サンプリングと勾配経路 再パラメータ化による順方向サンプリングと勾配経路 https://paperbridge.wiki/paper-images/arxiv-1312-6114-ja-arxiv-1312-6114/3-markdown-vae.png VAEのエンコーダー、潜在分布、デコーダーと二つの学習圧力 VAEのエンコーダー、潜在分布、デコーダーと二つの学習圧力 https://paperbridge.wiki/paper/arxiv-2304-02643-en-arxiv-2304-02643-plain-english-guide https://paperbridge.wiki/paper-images/arxiv-2304-02643-en-arxiv-2304-02643-plain-english-guide/1-markdown-a-single-point-can-reasonably-refer-to-a-badge-jacket-or-whole-.png A single point can reasonably refer to a badge, jacket, or whole person. A single point can reasonably refer to a badge, jacket, or whole person. https://paperbridge.wiki/paper-images/arxiv-2304-02643-en-arxiv-2304-02643-plain-english-guide/2-markdown-sam-computes-the-image-once-then-combines-a-reusable-embedding-.png SAM computes the image once, then combines a reusable embedding with changing prompts. SAM computes the image once, then combines a reusable embedding with changing prompts. https://paperbridge.wiki/paper-images/arxiv-2304-02643-en-arxiv-2304-02643-plain-english-guide/3-markdown-the-data-engine-moves-from-human-assisted-masks-to-automatic-de.png The data engine moves from human-assisted masks to automatic dense mask generation, with retraining in the loop. The data engine moves from human-assisted masks to automatic dense mask generation, with retraining in the loop. https://paperbridge.wiki/paper/arxiv-2304-08485-en-arxiv-2304-08485-plain-english-guide https://paperbridge.wiki/paper-images/arxiv-2304-08485-en-arxiv-2304-08485-plain-english-guide/1-markdown-flow-from-image-annotations-through-text-only-gpt-4-to-three-ki.png Flow from image annotations through text-only GPT-4 to three kinds of instruction data Flow from image annotations through text-only GPT-4 to three kinds of instruction data https://paperbridge.wiki/paper-images/arxiv-2304-08485-en-arxiv-2304-08485-plain-english-guide/2-markdown-llava-architecture-a-frozen-vision-encoder-feeds-projected-visu.png LLaVA architecture: a frozen vision encoder feeds projected visual tokens into a language model alongside an instruction LLaVA architecture: a frozen vision encoder feeds projected visual tokens into a language model alongside an instruction https://paperbridge.wiki/paper-images/arxiv-2304-08485-en-arxiv-2304-08485-plain-english-guide/3-markdown-two-stage-training-align-the-projection-first-then-tune-the-pro.png Two-stage training: align the projection first, then tune the projection and language model on visual instructions Two-stage training: align the projection first, then tune the projection and language model on visual instructions https://paperbridge.wiki/paper/arxiv-2210-03629-en-arxiv-2210-03629-plain-english-guide https://paperbridge.wiki/paper-images/arxiv-2210-03629-en-arxiv-2210-03629-plain-english-guide/1-markdown-the-react-cycle-thought-guides-action-and-observations-revise-t.png The ReAct cycle: thought guides action, and observations revise the next thought. The ReAct cycle: thought guides action, and observations revise the next thought. https://paperbridge.wiki/paper-images/arxiv-2210-03629-en-arxiv-2210-03629-plain-english-guide/2-markdown-reason-only-act-only-and-react-shown-as-three-different-informa.png Reason-only, act-only, and ReAct shown as three different information paths. Reason-only, act-only, and ReAct shown as three different information paths. https://paperbridge.wiki/paper-images/arxiv-2210-03629-en-arxiv-2210-03629-plain-english-guide/3-markdown-three-react-failure-paths-looping-poor-retrieval-and-label-mism.png Three ReAct failure paths: looping, poor retrieval, and label mismatch. Three ReAct failure paths: looping, poor retrieval, and label mismatch. https://paperbridge.wiki/paper/arxiv-2203-15556-en-arxiv-2203-15556-plain-english-guide https://paperbridge.wiki/paper-images/arxiv-2203-15556-en-arxiv-2203-15556-plain-english-guide/1-markdown-a-fixed-compute-budget-split-between-parameters-and-training-to.png A fixed compute budget split between parameters and training tokens, with balanced scaling leading toward lower loss. A fixed compute budget split between parameters and training tokens, with balanced scaling leading toward lower loss. https://paperbridge.wiki/paper-images/arxiv-2203-15556-en-arxiv-2203-15556-plain-english-guide/2-markdown-three-estimation-routes-training-curves-isoflop-profiles-and-a-.png Three estimation routes—training curves, IsoFLOP profiles, and a fitted loss function—converging on the same scaling rule. Three estimation routes—training curves, IsoFLOP profiles, and a fitted loss function—converging on the same scaling rule. https://paperbridge.wiki/paper-images/arxiv-2203-15556-en-arxiv-2203-15556-plain-english-guide/3-markdown-gopher-and-chinchilla-use-the-same-training-compute-but-allocat.png Gopher and Chinchilla use the same training compute but allocate it differently: Chinchilla is smaller and sees more tokens. Gopher and Chinchilla use the same training compute but allocate it differently: Chinchilla is smaller and sees more tokens. https://paperbridge.wiki/paper/arxiv-2203-02155-en-arxiv-2203-02155-plain-english-guide https://paperbridge.wiki/paper-images/arxiv-2203-02155-en-arxiv-2203-02155-plain-english-guide/1-markdown-two-different-goals-predicting-internet-text-and-serving-a-user.png Two different goals: predicting internet text and serving a user's intent Two different goals: predicting internet text and serving a user's intent https://paperbridge.wiki/paper-images/arxiv-2203-02155-en-arxiv-2203-02155-plain-english-guide/2-markdown-the-three-stage-instructgpt-training-pipeline.png The three-stage InstructGPT training pipeline The three-stage InstructGPT training pipeline https://paperbridge.wiki/paper-images/arxiv-2203-02155-en-arxiv-2203-02155-plain-english-guide/3-markdown-a-small-labeler-group-shapes-behavior-experienced-by-many-users.png A small labeler group shapes behavior experienced by many users A small labeler group shapes behavior experienced by many users https://paperbridge.wiki/paper/arxiv-2201-11903-en-arxiv-2201-11903-plain-english-guide https://paperbridge.wiki/paper-images/arxiv-2201-11903-en-arxiv-2201-11903-plain-english-guide/1-markdown-two-prompting-lanes-standard-examples-lead-straight-to-an-answe.png Two prompting lanes: standard examples lead straight to an answer, while chain-of-thought examples include intermediate steps. Two prompting lanes: standard examples lead straight to an answer, while chain-of-thought examples include intermediate steps. https://paperbridge.wiki/paper-images/arxiv-2201-11903-en-arxiv-2201-11903-plain-english-guide/2-markdown-a-qualitative-progression-from-small-to-very-large-models-where.png A qualitative progression from small to very large models, where step-by-step prompting changes from unreliable to strongly helpful. A qualitative progression from small to very large models, where step-by-step prompting changes from unreliable to strongly helpful. https://paperbridge.wiki/paper-images/arxiv-2201-11903-en-arxiv-2201-11903-plain-english-guide/3-markdown-visible-reasoning-can-support-inspection-but-it-can-contain-cal.png Visible reasoning can support inspection, but it can contain calculation slips, missing steps, or a wrong path, while internal computation remains unknown. Visible reasoning can support inspection, but it can contain calculation slips, missing steps, or a wrong path, while internal computation remains unknown. https://paperbridge.wiki/paper/arxiv-2112-10752-en-arxiv-2112-10752-plain-english-guide https://paperbridge.wiki/paper-images/arxiv-2112-10752-en-arxiv-2112-10752-plain-english-guide/1-markdown-pixel-space-diffusion-repeats-expensive-work-on-a-large-grid-la.png Pixel-space diffusion repeats expensive work on a large grid; latent diffusion repeats it on a smaller representation. Pixel-space diffusion repeats expensive work on a large grid; latent diffusion repeats it on a smaller representation. https://paperbridge.wiki/paper-images/arxiv-2112-10752-en-arxiv-2112-10752-plain-english-guide/2-markdown-the-model-compresses-images-denoises-in-latent-space-and-uses-c.png The model compresses images, denoises in latent space, and uses cross-attention to inject a prompt before decoding. The model compresses images, denoises in latent space, and uses cross-attention to inject a prompt before decoding. https://paperbridge.wiki/paper-images/arxiv-2112-10752-en-arxiv-2112-10752-plain-english-guide/3-markdown-compression-reduces-latent-size-but-excessive-compression-remov.png Compression reduces latent size, but excessive compression removes fine detail before diffusion starts. Compression reduces latent size, but excessive compression removes fine detail before diffusion starts. https://paperbridge.wiki/paper/arxiv-2106-09685-en-arxiv-2106-09685-plain-english-guide https://paperbridge.wiki/paper-images/arxiv-2106-09685-en-arxiv-2106-09685-plain-english-guide/1-markdown-full-fine-tuning-stores-a-full-model-per-task-lora-shares-the-b.png Full fine-tuning stores a full model per task; LoRA shares the base model and stores small task updates. Full fine-tuning stores a full model per task; LoRA shares the base model and stores small task updates. https://paperbridge.wiki/paper-images/arxiv-2106-09685-en-arxiv-2106-09685-plain-english-guide/2-markdown-an-input-follows-a-frozen-base-weight-path-and-a-trainable-low-.png An input follows a frozen base-weight path and a trainable low-rank A-to-B path; the results are added. An input follows a frozen base-weight path and a trainable low-rank A-to-B path; the results are added. https://paperbridge.wiki/paper-images/arxiv-2106-09685-en-arxiv-2106-09685-plain-english-guide/3-markdown-lora-trains-separate-a-and-b-matrices-merges-ba-into-the-frozen.png LoRA trains separate A and B matrices, merges BA into the frozen weight for deployment, and can swap task modules. LoRA trains separate A and B matrices, merges BA into the frozen weight for deployment, and can swap task modules. https://paperbridge.wiki/paper/arxiv-2103-00020-en-arxiv-2103-00020-plain-english-guide https://paperbridge.wiki/paper-images/arxiv-2103-00020-en-arxiv-2103-00020-plain-english-guide/1-markdown-comparison-between-a-closed-fixed-label-system-and-natural-lang.png Comparison between a closed fixed-label system and natural-language supervision that can express a wider set of concepts. Comparison between a closed fixed-label system and natural-language supervision that can express a wider set of concepts. https://paperbridge.wiki/paper-images/arxiv-2103-00020-en-arxiv-2103-00020-plain-english-guide/2-markdown-two-stage-clip-flow-match-image-text-pairs-during-training-then.png Two-stage CLIP flow: match image–text pairs during training, then compare a new image with class descriptions at test time. Two-stage CLIP flow: match image–text pairs during training, then compare a new image with class descriptions at test time. https://paperbridge.wiki/paper-images/arxiv-2103-00020-en-arxiv-2103-00020-plain-english-guide/3-markdown-clip-can-transfer-broadly-while-specialized-and-people-related-.png CLIP can transfer broadly, while specialized and people-related uses require testing in their actual context. CLIP can transfer broadly, while specialized and people-related uses require testing in their actual context. https://paperbridge.wiki/paper/arxiv-2010-11929-en-arxiv-2010-11929-plain-english-guide https://paperbridge.wiki/paper-images/arxiv-2010-11929-en-arxiv-2010-11929-plain-english-guide/1-markdown-a-left-to-right-view-of-an-image-becoming-patches-tokens-a-tran.png A left-to-right view of an image becoming patches, tokens, a Transformer representation, and a prediction. A left-to-right view of an image becoming patches, tokens, a Transformer representation, and a prediction. https://paperbridge.wiki/paper-images/arxiv-2010-11929-en-arxiv-2010-11929-plain-english-guide/2-markdown-a-comparison-of-cnn-locality-and-vit-s-learned-patch-relationsh.png A comparison of CNN locality and ViT's learned patch relationships, with their different data needs. A comparison of CNN locality and ViT's learned patch relationships, with their different data needs. https://paperbridge.wiki/paper-images/arxiv-2010-11929-en-arxiv-2010-11929-plain-english-guide/3-markdown-large-scale-pretraining-produces-a-reusable-model-that-can-be-f.png Large-scale pretraining produces a reusable model that can be fine-tuned on smaller tasks. Large-scale pretraining produces a reusable model that can be fine-tuned on smaller tasks. https://paperbridge.wiki/paper/arxiv-2006-11239-en-arxiv-2006-11239-plain-english-guide https://paperbridge.wiki/paper-images/arxiv-2006-11239-en-arxiv-2006-11239-plain-english-guide/1-markdown-a-clear-image-is-gradually-converted-into-gaussian-noise.png A clear image is gradually converted into Gaussian noise. A clear image is gradually converted into Gaussian noise. https://paperbridge.wiki/paper-images/arxiv-2006-11239-en-arxiv-2006-11239-plain-english-guide/2-markdown-training-predicts-known-noise-generation-repeatedly-removes-pre.png Training predicts known noise; generation repeatedly removes predicted noise. Training predicts known noise; generation repeatedly removes predicted noise. https://paperbridge.wiki/paper-images/arxiv-2006-11239-en-arxiv-2006-11239-plain-english-guide/3-markdown-the-reverse-process-resolves-global-structure-before-fine-detai.png The reverse process resolves global structure before fine detail. The reverse process resolves global structure before fine detail. https://paperbridge.wiki/paper/arxiv-2005-11401-en-arxiv-2005-11401-plain-english-guide https://paperbridge.wiki/paper-images/arxiv-2005-11401-en-arxiv-2005-11401-plain-english-guide/1-markdown-a-question-is-encoded-matched-against-a-wikipedia-index-and-com.png A question is encoded, matched against a Wikipedia index, and combined with retrieved passages by a generator. A question is encoded, matched against a Wikipedia index, and combined with retrieved passages by a generator. https://paperbridge.wiki/paper-images/arxiv-2005-11401-en-arxiv-2005-11401-plain-english-guide/2-markdown-rag-sequence-uses-one-latent-document-for-an-output-rag-token-c.png RAG-Sequence uses one latent document for an output; RAG-Token can shift document support across tokens. RAG-Sequence uses one latent document for an output; RAG-Token can shift document support across tokens. https://paperbridge.wiki/paper-images/arxiv-2005-11401-en-arxiv-2005-11401-plain-english-guide/3-markdown-the-same-generator-produces-time-specific-answers-when-its-exte.png The same generator produces time-specific answers when its external index is swapped. The same generator produces time-specific answers when its external index is swapped. https://paperbridge.wiki/paper/arxiv-2005-14165-en-arxiv-2005-14165-plain-english-guide https://paperbridge.wiki/paper-images/arxiv-2005-14165-en-arxiv-2005-14165-plain-english-guide/1-markdown-two-row-comparison-of-task-specific-fine-tuning-and-in-context-.png Two-row comparison of task-specific fine-tuning and in-context learning Two-row comparison of task-specific fine-tuning and in-context learning https://paperbridge.wiki/paper-images/arxiv-2005-14165-en-arxiv-2005-14165-plain-english-guide/2-markdown-three-panels-showing-zero-shot-one-shot-and-few-shot-prompting.png Three panels showing zero-shot, one-shot, and few-shot prompting Three panels showing zero-shot, one-shot, and few-shot prompting https://paperbridge.wiki/paper-images/arxiv-2005-14165-en-arxiv-2005-14165-plain-english-guide/3-markdown-radial-diagram-showing-three-capabilities-and-four-cautions.png Radial diagram showing three capabilities and four cautions Radial diagram showing three capabilities and four cautions https://paperbridge.wiki/paper/arxiv-2001-08361-en-arxiv-2001-08361-plain-english-guide https://paperbridge.wiki/paper-images/arxiv-2001-08361-en-arxiv-2001-08361-plain-english-guide/1-markdown-three-scaling-inputs-model-size-dataset-size-and-training-compu.png Three scaling inputs—model size, dataset size, and training compute—point toward lower test loss. Three scaling inputs—model size, dataset size, and training compute—point toward lower test loss. https://paperbridge.wiki/paper-images/arxiv-2001-08361-en-arxiv-2001-08361-plain-english-guide/2-markdown-two-uses-of-the-same-training-compute-budget-a-small-model-trai.png Two uses of the same training-compute budget: a small model trained longer and a large model stopped early. Two uses of the same training-compute budget: a small model trained longer and a large model stopped early. https://paperbridge.wiki/paper-images/arxiv-2001-08361-en-arxiv-2001-08361-plain-english-guide/3-markdown-a-boundary-separates-measurements-on-webtext2-and-test-loss-fro.png A boundary separates measurements on WebText2 and test loss from uncertain capabilities and other domains. A boundary separates measurements on WebText2 and test loss from uncertain capabilities and other domains. https://paperbridge.wiki/paper/arxiv-1810-04805-en-arxiv-1810-04805-plain-english-guide https://paperbridge.wiki/paper-images/arxiv-1810-04805-en-arxiv-1810-04805-plain-english-guide/1-markdown-comparison-of-left-to-right-context-and-bert-s-jointly-bidirect.png Comparison of left-to-right context and BERT's jointly bidirectional context Comparison of left-to-right context and BERT's jointly bidirectional context https://paperbridge.wiki/paper-images/arxiv-1810-04805-en-arxiv-1810-04805-plain-english-guide/2-markdown-masked-language-modeling-uses-context-from-both-sides-to-recove.png Masked language modeling uses context from both sides to recover a hidden token Masked language modeling uses context from both sides to recover a hidden token https://paperbridge.wiki/paper-images/arxiv-1810-04805-en-arxiv-1810-04805-plain-english-guide/3-markdown-one-pretrained-bert-model-branches-into-several-fine-tuned-task.png One pretrained BERT model branches into several fine-tuned task models One pretrained BERT model branches into several fine-tuned task models https://paperbridge.wiki/paper/arxiv-1706-03762-en-arxiv-1706-03762-plain-english-guide https://paperbridge.wiki/paper-images/arxiv-1706-03762-en-arxiv-1706-03762-plain-english-guide/1-markdown-recurrence-processes-positions-in-a-chain-self-attention-connec.png Recurrence processes positions in a chain; self-attention connects and processes positions together during training. Recurrence processes positions in a chain; self-attention connects and processes positions together during training. https://paperbridge.wiki/paper-images/arxiv-1706-03762-en-arxiv-1706-03762-plain-english-guide/2-markdown-a-query-is-compared-with-keys-to-form-weights-which-mix-the-cor.png A query is compared with keys to form weights, which mix the corresponding values into an output. A query is compared with keys to form weights, which mix the corresponding values into an output. https://paperbridge.wiki/paper-images/arxiv-1706-03762-en-arxiv-1706-03762-plain-english-guide/3-markdown-the-encoder-builds-source-representations-the-masked-decoder-co.png The encoder builds source representations; the masked decoder combines them with earlier target positions to predict the next token. The encoder builds source representations; the masked decoder combines them with earlier target positions to predict the next token. https://paperbridge.wiki/paper/arxiv-1512-03385-en-arxiv-1512-03385-plain-english-guide https://paperbridge.wiki/paper-images/arxiv-1512-03385-en-arxiv-1512-03385-plain-english-guide/1-markdown-a-shallow-network-trains-cleanly-while-a-deeper-plain-stack-bec.png A shallow network trains cleanly while a deeper plain stack becomes harder to optimize. A shallow network trains cleanly while a deeper plain stack becomes harder to optimize. https://paperbridge.wiki/paper-images/arxiv-1512-03385-en-arxiv-1512-03385-plain-english-guide/2-markdown-a-residual-block-splits-input-into-a-learned-path-and-an-identi.png A residual block splits input into a learned path and an identity shortcut, then adds them. A residual block splits input into a learned path and an identity shortcut, then adds them. https://paperbridge.wiki/paper-images/arxiv-1512-03385-en-arxiv-1512-03385-plain-english-guide/3-markdown-basic-and-bottleneck-residual-blocks-can-be-repeated-to-build-d.png Basic and bottleneck residual blocks can be repeated to build deep networks. Basic and bottleneck residual blocks can be repeated to build deep networks. https://paperbridge.wiki/paper/arxiv-1312-6114-en-arxiv-1312-6114-plain-english-guide https://paperbridge.wiki/paper-images/arxiv-1312-6114-en-arxiv-1312-6114-plain-english-guide/1-markdown-why-repeated-inference-becomes-the-bottleneck.png Why repeated inference becomes the bottleneck Why repeated inference becomes the bottleneck https://paperbridge.wiki/paper-images/arxiv-1312-6114-en-arxiv-1312-6114-plain-english-guide/2-markdown-direct-sampling-compared-with-reparameterized-sampling.png Direct sampling compared with reparameterized sampling Direct sampling compared with reparameterized sampling https://paperbridge.wiki/paper-images/arxiv-1312-6114-en-arxiv-1312-6114-plain-english-guide/3-markdown-the-two-pressures-in-the-variational-lower-bound.png The two pressures in the variational lower bound The two pressures in the variational lower bound https://paperbridge.wiki/paper/arxiv-1406-2661-en-arxiv-1406-2661-plain-english-guide https://paperbridge.wiki/paper-images/arxiv-1406-2661-en-arxiv-1406-2661-plain-english-guide/1-markdown-two-paths-feed-the-discriminator-generated-samples-arrive-from-.png Two paths feed the discriminator: generated samples arrive from noise through the generator, while real samples come from the dataset. Two paths feed the discriminator: generated samples arrive from noise through the generator, while real samples come from the dataset. https://paperbridge.wiki/paper-images/arxiv-1406-2661-en-arxiv-1406-2661-plain-english-guide/2-markdown-a-clockwise-loop-alternates-training-the-judge-and-the-maker.png A clockwise loop alternates training the judge and the maker. A clockwise loop alternates training the judge and the maker. https://paperbridge.wiki/paper-images/arxiv-1406-2661-en-arxiv-1406-2661-plain-english-guide/3-markdown-three-columns-show-the-method-s-simple-sampling-missing-explici.png Three columns show the method’s simple sampling, missing explicit density, and need to balance the two learners. Three columns show the method’s simple sampling, missing explicit density, and need to balance the two learners. https://paperbridge.wiki/paper/arxiv-2304-08485-zh-arxiv-2304-08485 https://paperbridge.wiki/paper-images/arxiv-2304-08485-zh-arxiv-2304-08485/1-markdown.png 视觉指令数据生成流程：图像被转成字幕和目标框，文本教师再生成对话、详述与推理样本。 视觉指令数据生成流程：图像被转成字幕和目标框，文本教师再生成对话、详述与推理样本。 https://paperbridge.wiki/paper-images/arxiv-2304-08485-zh-arxiv-2304-08485/2-markdown-llava.png LLaVA 的信息流与两阶段训练：视觉编码器始终冻结，投影层先对齐，随后与语言模型共同微调。 LLaVA 的信息流与两阶段训练：视觉编码器始终冻结，投影层先对齐，随后与语言模型共同微调。 https://paperbridge.wiki/paper-images/arxiv-2304-08485-zh-arxiv-2304-08485/3-markdown.png 证据边界：实验支持指令跟随、跨模态对齐和科学问答表现，但视觉幻觉、评测依赖、偏见与成本仍待验证。 证据边界：实验支持指令跟随、跨模态对齐和科学问答表现，但视觉幻觉、评测依赖、偏见与成本仍待验证。 https://paperbridge.wiki/paper/arxiv-2304-02643-zh-arxiv-2304-02643 https://paperbridge.wiki/paper-images/arxiv-2304-02643-zh-arxiv-2304-02643/1-markdown.png 任务、模型与数据引擎形成闭环 任务、模型与数据引擎形成闭环 https://paperbridge.wiki/paper-images/arxiv-2304-02643-zh-arxiv-2304-02643/2-markdown.png 一个点可能对应局部、物体或整体 一个点可能对应局部、物体或整体 https://paperbridge.wiki/paper-images/arxiv-2304-02643-zh-arxiv-2304-02643/3-markdown.png 三阶段数据引擎 三阶段数据引擎 https://paperbridge.wiki/paper/arxiv-2210-03629-zh-arxiv-2210-03629 https://paperbridge.wiki/paper-images/arxiv-2210-03629-zh-arxiv-2210-03629/1-research-paper-visual.png 推理与行动分离的问题结构 一张结构图：模型内部思考、外部知识检索、环境动作和任务结果之间的关系，以及三种常见断裂点。 https://paperbridge.wiki/paper-images/arxiv-2210-03629-zh-arxiv-2210-03629/2-react.png ReAct 的交替轨迹 一张流程图：模型从任务进入，交替产生思考、动作、观察，再汇总为最终答案或决策。 https://paperbridge.wiki/paper-images/arxiv-2210-03629-zh-arxiv-2210-03629/3-cot-act.png 与 CoT / Act / 混合切换的差异与边界 一张比较图：ReAct 在问答和交互任务中与 CoT、Act、CoT-SC 互补切换的表现，以及仍然存在的失败边界。 https://paperbridge.wiki/paper/arxiv-2203-15556-zh-arxiv-2203-15556 https://paperbridge.wiki/paper-images/arxiv-2203-15556-zh-arxiv-2203-15556/1-markdown.png 固定训练算力下的两种分配方式 固定训练算力下的两种分配方式 https://paperbridge.wiki/paper-images/arxiv-2203-15556-zh-arxiv-2203-15556/2-markdown.png 从训练实验到缩放规律的估计流程 从训练实验到缩放规律的估计流程 https://paperbridge.wiki/paper-images/arxiv-2203-15556-zh-arxiv-2203-15556/3-markdown-gopher-chinchilla.png Gopher 与 Chinchilla 的同算力对照 Gopher 与 Chinchilla 的同算力对照 https://paperbridge.wiki/paper/arxiv-2203-02155-zh-arxiv-2203-02155 https://paperbridge.wiki/paper-images/arxiv-2203-02155-zh-arxiv-2203-02155/1-markdown.png 参数更多不保证更符合人的偏好；行为微调改变了比较结果 参数更多不保证更符合人的偏好；行为微调改变了比较结果 https://paperbridge.wiki/paper-images/arxiv-2203-02155-zh-arxiv-2203-02155/2-markdown-instructgpt.png InstructGPT 的三阶段训练流程 InstructGPT 的三阶段训练流程 https://paperbridge.wiki/paper-images/arxiv-2203-02155-zh-arxiv-2203-02155/3-markdown.png 特定标注群体的偏好边界与有害指令风险 特定标注群体的偏好边界与有害指令风险 https://paperbridge.wiki/paper/arxiv-2112-10752-zh-arxiv-2112-10752 https://paperbridge.wiki/paper-images/arxiv-2112-10752-zh-arxiv-2112-10752/1-markdown.png 像素空间与潜空间扩散的计算路径对比 像素空间与潜空间扩散的计算路径对比 https://paperbridge.wiki/paper-images/arxiv-2112-10752-zh-arxiv-2112-10752/2-markdown.png 潜扩散模型的两阶段管线与条件入口 潜扩散模型的两阶段管线与条件入口 https://paperbridge.wiki/paper-images/arxiv-2112-10752-zh-arxiv-2112-10752/3-markdown.png 温和压缩位于效率与细节的平衡区 温和压缩位于效率与细节的平衡区 https://paperbridge.wiki/paper/arxiv-2106-09685-zh-arxiv-2106-09685 https://paperbridge.wiki/paper-images/arxiv-2106-09685-zh-arxiv-2106-09685/1-markdown-lora.png 全量微调需要任务副本；LoRA 复用共享基座，只保存小型任务模块 全量微调需要任务副本；LoRA 复用共享基座，只保存小型任务模块 https://paperbridge.wiki/paper-images/arxiv-2106-09685-zh-arxiv-2106-09685/2-markdown.png 输入同时经过冻结权重与可训练的低秩支路，结果相加 输入同时经过冻结权重与可训练的低秩支路，结果相加 https://paperbridge.wiki/paper-images/arxiv-2106-09685-zh-arxiv-2106-09685/3-markdown.png 选择一个任务模块并合并后常规推理；混合任务批次受到限制 选择一个任务模块并合并后常规推理；混合任务批次受到限制 https://paperbridge.wiki/paper/arxiv-2103-00020-zh-arxiv-2103-00020 https://paperbridge.wiki/paper-images/arxiv-2103-00020-zh-arxiv-2103-00020/1-markdown-clip.png CLIP 对比预训练：图像与文字分别编码，正确配对在相似度矩阵的对角线上被拉近。 CLIP 对比预训练：图像与文字分别编码，正确配对在相似度矩阵的对角线上被拉近。 https://paperbridge.wiki/paper-images/arxiv-2103-00020-zh-arxiv-2103-00020/2-markdown.png 零样本分类：图片与可替换的候选类别分别编码，在共享空间比较后选出最相近类别。 零样本分类：图片与可替换的候选类别分别编码，在共享空间比较后选出最相近类别。 https://paperbridge.wiki/paper-images/arxiv-2103-00020-zh-arxiv-2103-00020/3-markdown-clip.png CLIP 的能力边界：大规模网页覆盖形成“亮区”，但分布外输入、细粒度辨别、类别偏差和资源成本仍在边界外。 CLIP 的能力边界：大规模网页覆盖形成“亮区”，但分布外输入、细粒度辨别、类别偏差和资源成本仍在边界外。 https://paperbridge.wiki/paper/arxiv-2010-11929-zh-arxiv-2010-11929 https://paperbridge.wiki/paper-images/arxiv-2010-11929-zh-arxiv-2010-11929/1-markdown-cnn-vit.png CNN 逐层扩大局部视野；ViT 把图像块送入全局关联网络的原创教学对比图 CNN 逐层扩大局部视野；ViT 把图像块送入全局关联网络的原创教学对比图 https://paperbridge.wiki/paper-images/arxiv-2010-11929-zh-arxiv-2010-11929/2-markdown-transformer.png 图片被切块、排成序列、加入位置信息、经过 Transformer 后完成分类的原创流程图 图片被切块、排成序列、加入位置信息、经过 Transformer 后完成分类的原创流程图 https://paperbridge.wiki/paper-images/arxiv-2010-11929-zh-arxiv-2010-11929/3-markdown.png 从小数据过拟合，到大规模预训练形成可迁移表示，再服务多个小数据任务的原创关系图 从小数据过拟合，到大规模预训练形成可迁移表示，再服务多个小数据任务的原创关系图 https://paperbridge.wiki/paper/arxiv-2006-11239-zh-arxiv-2006-11239 https://paperbridge.wiki/paper-images/arxiv-2006-11239-zh-arxiv-2006-11239/1-markdown.png 扩散模型的前向加噪与反向去噪 扩散模型的前向加噪与反向去噪 https://paperbridge.wiki/paper-images/arxiv-2006-11239-zh-arxiv-2006-11239/2-markdown.png 扩散模型的单次训练样本 扩散模型的单次训练样本 https://paperbridge.wiki/paper-images/arxiv-2006-11239-zh-arxiv-2006-11239/3-markdown.png 扩散模型从粗到细的生成过程 扩散模型从粗到细的生成过程 https://paperbridge.wiki/paper/arxiv-2005-11401-zh-arxiv-2005-11401 https://paperbridge.wiki/paper-images/arxiv-2005-11401-zh-arxiv-2005-11401/1-markdown-rag.png RAG 的问题、检索、生成流程 RAG 的问题、检索、生成流程 https://paperbridge.wiki/paper-images/arxiv-2005-11401-zh-arxiv-2005-11401/2-markdown-rag-sequence-rag-token.png RAG-Sequence 与 RAG-Token 的差别 RAG-Sequence 与 RAG-Token 的差别 https://paperbridge.wiki/paper-images/arxiv-2005-11401-zh-arxiv-2005-11401/3-markdown.png 替换外部索引来更新知识 替换外部索引来更新知识 https://paperbridge.wiki/paper/arxiv-2005-14165-zh-arxiv-2005-14165 https://paperbridge.wiki/paper-images/arxiv-2005-14165-zh-arxiv-2005-14165/1-markdown.png 传统微调与上下文学习的差别 传统微调与上下文学习的差别 https://paperbridge.wiki/paper-images/arxiv-2005-14165-zh-arxiv-2005-14165/2-markdown.png 上下文学习的一次推理流程 上下文学习的一次推理流程 https://paperbridge.wiki/paper-images/arxiv-2005-14165-zh-arxiv-2005-14165/3-markdown.png 规模收益与仍未解决的风险 规模收益与仍未解决的风险 https://paperbridge.wiki/paper/arxiv-2001-08361-zh-arxiv-2001-08361 https://paperbridge.wiki/paper-images/arxiv-2001-08361-zh-arxiv-2001-08361/1-markdown.png 三种规模因素需要协同增长，才能持续压低损失 三种规模因素需要协同增长，才能持续压低损失 https://paperbridge.wiki/paper-images/arxiv-2001-08361-zh-arxiv-2001-08361/2-markdown.png 固定计算预算下，两种训练策略的差别 固定计算预算下，两种训练策略的差别 https://paperbridge.wiki/paper-images/arxiv-2001-08361-zh-arxiv-2001-08361/3-markdown.png 经验规律的已测范围与三类外推风险 经验规律的已测范围与三类外推风险 https://paperbridge.wiki/paper/arxiv-1810-04805-zh-arxiv-1810-04805 https://paperbridge.wiki/paper-images/arxiv-1810-04805-zh-arxiv-1810-04805/1-markdown.png 单向上下文与深层双向上下文的差别 单向上下文与深层双向上下文的差别 https://paperbridge.wiki/paper-images/arxiv-1810-04805-zh-arxiv-1810-04805/2-markdown-bert.png BERT 的两项预训练任务 BERT 的两项预训练任务 https://paperbridge.wiki/paper-images/arxiv-1810-04805-zh-arxiv-1810-04805/3-markdown.png 从一次预训练到多种下游任务 从一次预训练到多种下游任务 https://paperbridge.wiki/paper/arxiv-1406-2661-zh-arxiv-1406-2661 https://paperbridge.wiki/paper-images/arxiv-1406-2661-zh-arxiv-1406-2661/1-markdown-gan.png GAN 的输入、生成、判别与反馈回路 GAN 的输入、生成、判别与反馈回路 https://paperbridge.wiki/paper-images/arxiv-1406-2661-zh-arxiv-1406-2661/2-markdown.png 判别器与生成器交替更新 判别器与生成器交替更新 https://paperbridge.wiki/paper-images/arxiv-1406-2661-zh-arxiv-1406-2661/3-markdown.png 从可区分到分布重合的概念过程 从可区分到分布重合的概念过程 https://paperbridge.wiki/paper/arxiv-1312-6114-zh-arxiv-1312-6114 https://paperbridge.wiki/paper-images/arxiv-1312-6114-zh-arxiv-1312-6114/1-markdown.png 共享编码器把逐样本推断变成一次前向计算 共享编码器把逐样本推断变成一次前向计算 https://paperbridge.wiki/paper-images/arxiv-1312-6114-zh-arxiv-1312-6114/2-markdown.png 重参数化前后，梯度路径的差别 重参数化前后，梯度路径的差别 https://paperbridge.wiki/paper-images/arxiv-1312-6114-zh-arxiv-1312-6114/3-markdown-elbo.png ELBO 的两股力量与论文证据边界 ELBO 的两股力量与论文证据边界 https://paperbridge.wiki/paper/arxiv-2201-11903-zh-arxiv-2201-11903 https://paperbridge.wiki/paper-images/arxiv-2201-11903-zh-arxiv-2201-11903/1-markdown.png 大语言模型把复杂问题拆成中间推理步骤后得到答案的封面图 大语言模型把复杂问题拆成中间推理步骤后得到答案的封面图 https://paperbridge.wiki/paper-images/arxiv-2201-11903-zh-arxiv-2201-11903/2-markdown.png 标准少样本提示与思维链提示在示例结构上的对比 标准少样本提示与思维链提示在示例结构上的对比 https://paperbridge.wiki/paper-images/arxiv-2201-11903-zh-arxiv-2201-11903/3-markdown.png 思维链增益随模型规模和任务难度变化的二维示意图 思维链增益随模型规模和任务难度变化的二维示意图 https://paperbridge.wiki/paper-images/arxiv-2201-11903-zh-arxiv-2201-11903/4-markdown.png 三类推理实验及代表性结果的证据地图 三类推理实验及代表性结果的证据地图 https://paperbridge.wiki/paper-images/arxiv-2201-11903-zh-arxiv-2201-11903/5-markdown-gsm8k.png GSM8K 上标准提示、三种消融与思维链提示的准确率对比 GSM8K 上标准提示、三种消融与思维链提示的准确率对比 https://paperbridge.wiki/paper-images/arxiv-2201-11903-zh-arxiv-2201-11903/6-markdown.png 最终答案正确性与推理链正确性的四象限边界图 最终答案正确性与推理链正确性的四象限边界图 https://paperbridge.wiki/paper/arxiv-1512-03385-zh-arxiv-1512-03385 https://paperbridge.wiki/paper-images/arxiv-1512-03385-zh-arxiv-1512-03385/1-markdown.png 深度残差学习以恒等捷径贯穿深层网络 深度残差学习以恒等捷径贯穿深层网络 https://paperbridge.wiki/paper-images/arxiv-1512-03385-zh-arxiv-1512-03385/2-markdown.png 更深的普通网络出现更高训练误差 更深的普通网络出现更高训练误差 https://paperbridge.wiki/paper-images/arxiv-1512-03385-zh-arxiv-1512-03385/3-markdown.png 原始残差块的两路信息流 原始残差块的两路信息流 https://paperbridge.wiki/paper-images/arxiv-1512-03385-zh-arxiv-1512-03385/4-markdown-imagenet.png ImageNet 上普通网络与残差网络的受控比较 ImageNet 上普通网络与残差网络的受控比较 https://paperbridge.wiki/paper-images/arxiv-1512-03385-zh-arxiv-1512-03385/5-markdown.png 基础残差块与瓶颈残差块对比 基础残差块与瓶颈残差块对比 https://paperbridge.wiki/paper-images/arxiv-1512-03385-zh-arxiv-1512-03385/6-markdown-resnet.png ResNet 证据链与能力边界 ResNet 证据链与能力边界 https://paperbridge.wiki/paper/attention-is-all-you-need https://paperbridge.wiki/paper-images/attention-is-all-you-need/1-markdown-transformer.png Transformer 从递归链转向全局注意力关系的概念封面 Transformer 从递归链转向全局注意力关系的概念封面 https://paperbridge.wiki/paper-images/attention-is-all-you-need/2-markdown-rnn-cnn-self-attention.png RNN、CNN 与 Self-Attention 的信息路径比较 RNN、CNN 与 Self-Attention 的信息路径比较 https://paperbridge.wiki/paper-images/attention-is-all-you-need/3-markdown-query-key-value-attention.png Query、Key、Value 到 Attention 输出的计算过程 Query、Key、Value 到 Attention 输出的计算过程 https://paperbridge.wiki/paper-images/attention-is-all-you-need/4-markdown-multi-head-attention.png Multi-Head Attention 在多个表示子空间中并行工作 Multi-Head Attention 在多个表示子空间中并行工作 https://paperbridge.wiki/paper-images/attention-is-all-you-need/5-markdown-transformer.png 词元嵌入与位置编码相加形成 Transformer 输入 词元嵌入与位置编码相加形成 Transformer 输入 https://paperbridge.wiki/paper-images/attention-is-all-you-need/6-markdown-transformer-encoder-decoder-attention.png Transformer Encoder-Decoder 与三种 Attention 的数据来源 Transformer Encoder-Decoder 与三种 Attention 的数据来源 https://paperbridge.wiki/paper-images/attention-is-all-you-need/7-markdown-transformer.png Transformer 训练并行与推理自回归的差异 Transformer 训练并行与推理自回归的差异 https://paperbridge.wiki/paper-images/attention-is-all-you-need/8-markdown-attention-is-all-you-need.png Attention Is All You Need 的直接证据与外推边界 Attention Is All You Need 的直接证据与外推边界 https://paperbridge.wiki/paper/motionbricks-real-time-neural-motion https://paperbridge.wiki/paper-images/motionbricks-real-time-neural-motion/1-markdown-motionbricks.png 传统状态机随行为增多而缠成网络；MotionBricks 用可复用控制原语连接共享生成骨干 传统状态机随行为增多而缠成网络；MotionBricks 用可复用控制原语连接共享生成骨干 https://paperbridge.wiki/paper-images/motionbricks-real-time-neural-motion/2-markdown.png 从用户指令、关键帧、根轨迹、姿态令牌到连续动作的五阶段流程 从用户指令、关键帧、根轨迹、姿态令牌到连续动作的五阶段流程 https://paperbridge.wiki/paper-images/motionbricks-real-time-neural-motion/3-markdown.png 上方运动计划经过跟踪控制后，仍受到感知噪声、自碰撞和足底打滑等现实约束 上方运动计划经过跟踪控制后，仍受到感知噪声、自碰撞和足底打滑等现实约束