科 学 空 间 | S c i e n t i f i c S p a c e s S E A R C H M E N U 打 赏 公 式 天 象 链 接 时 光 博 览 归 档 C A T E G O R I E S 千 奇 百 怪 天 文 探 索 数 学 研 究 物 理 化 学 信 息 时 代 生 物 自 然 图 片 摄 影 问 题 百 科 生 活 / 情 感 资 源 共 享 N E W P O S T S 重 温 S S M （ 三 ） ： H i P P O 的 高 效 . . . 通 向 概 率 分 布 之 路 ： 盘 点 S o f t m a . . . 重 温 S S M （ 二 ） ： H i P P O 的 一 些 . . . T r a n s f o r m e r 升 级 之 路 ： 1 . . . 重 温 S S M （ 一 ） ： 线 性 系 统 和 H i P . . . 缓 存 与 效 果 的 极 限 拉 扯 ： 从 M H A 、 M . . . C o o l P a p e r s 更 新 ： 简 单 搭 . . . 以 蒸 馏 的 名 义 ： “ 从 去 噪 自 编 码 器 到 生 . . . 生 成 扩 散 模 型 漫 谈 （ 二 十 四 ） ： 少 走 捷 . . . 生 成 扩 散 模 型 漫 谈 （ 二 十 三 ） ： 信 噪 比 . . . C O M M E N T S 梁 宇 辰 : 论 文 中 实 际 采 用 了 $ L ^ \ \ D e l t a $ , 鄙 人 没 看 出 来 这 有 什 么 道 理 . . . J i a r u : 请 教 一 下 ： 为 什 么 式 （ 4 ） 下 面 提 到 ， 即 便 $ \ \ s i g m a _ t = 0 $ . . . J i a r u : 请 教 一 下 ： 为 什 么 式 （ 4 ） 下 面 提 到 ， 即 便 $ \ \ s i g m a _ t = 0 $ . . . d s p w a n g : 感 谢 博 主 分 享 ！ z h o u x i n x i n : 有 理 论 可 以 证 明 g a n 的 建 模 是 无 损 的 吗 ， 苏 神 z h o u x i n x i n : 时 间 维 度 和 特 征 维 度 的 区 别 吗 ， 苏 神 小 余 : 苏 神 ， 最 近 在 拜 读 您 合 作 的 一 篇 关 于 扩 散 模 型 暴 露 偏 差 的 论 文 《 E L U . . . Z . T : 这 种 算 法 不 还 得 是 每 个 位 置 算 一 次 傅 里 叶 变 换 嘛 ？ y L 和 y L 1 不 能 . . . 周 名 远 : 蒸 馏 S t a b l e D i f f u s i o n 的 S i D L S G 算 法 和 模 型 . . . s o n d e r : 苏 神 好 ， 请 问 2 d 的 r o p e 写 成 完 整 形 式 是 这 个 样 子 的 吗 扩 . . . U S E R L O G I N 登 录 科 学 空 间 | S c i e n t i f i c S p a c e s 登 录 打 赏 公 式 天 象 链 接 时 光 博 览 归 档 渴 望 成 为 一 个 小 飞 侠 欢 迎 订 阅 个 性 邮 箱 天 象 信 息 观 测 I S S L a T e X 关 于 博 主 欢 迎 访 问 “ 科 学 空 间 ” ， 这 里 将 与 您 共 同 探 讨 自 然 科 学 ， 回 味 人 生 百 态 ； 也 期 待 大 家 的 分 享 ～ 千 奇 百 怪 E v e r y t h i n g 天 文 探 索 A s t r o n o m y 数 学 研 究 M a t h e m a t i c s 物 理 化 学 P h y c h e m 信 息 时 代 B i g D a t a 生 物 自 然 B i o l o g y 图 片 摄 影 P h o t o g r a p h 问 题 百 科 Q u e s t i o n s 生 活 / 情 感 L i f e F e e l i n g 资 源 共 享 R e s o u r c e s 千 奇 百 怪 天 文 探 索 数 学 研 究 物 理 化 学 信 息 时 代 生 物 自 然 图 片 摄 影 问 题 百 科 生 活 / 情 感 资 源 共 享 感 谢 国 家 天 文 台 L A M O S T 项 目 之 “ 宇 宙 驿 站 ” 提 供 网 络 空 间 和 数 据 库 资 源 ! 感 谢 国 家 天 文 台 崔 辰 州 博 士 等 人 的 多 方 努 力 和 技 术 支 持 ！ 科 学 空 间 致 力 于 知 识 分 享 ， 所 以 欢 迎 您 转 载 本 站 文 章 ， 但 转 载 本 站 内 容 必 须 遵 循 署 名 非 商 业 用 途 保 持 一 致 的 创 作 共 用 协 议 。 参 与 科 学 空 间 为 了 保 证 你 的 利 益 ， 推 荐 你 注 册 为 本 站 会 员 。 同 时 欢 迎 通 过 邮 件 或 留 言 进 行 交 流 、 建 议 或 反 馈 科 学 空 间 的 问 题 。 会 员 注 册 会 员 登 录 查 看 全 站 文 章 归 档 页 2 0 J u n 重 温 S S M （ 三 ） ： H i P P O 的 高 效 计 算 （ S 4 ） B y 苏 剑 林 | 2 0 2 4 0 6 2 0 | 1 8 7 9 位 读 者 | 引 用 前 面 我 们 用 两 篇 文 章 《 重 温 S S M （ 一 ） ： 线 性 系 统 和 H i P P O 矩 阵 》 和 《 重 温 S S M （ 二 ） ： H i P P O 的 一 些 遗 留 问 题 》 介 绍 了 H i P P O 的 思 想 和 推 导 — — 通 过 正 交 函 数 基 对 持 续 更 新 的 函 数 进 行 实 时 逼 近 ， 其 拟 合 系 数 的 动 力 学 正 好 可 以 表 示 为 一 个 线 性 O D E 系 统 ， 并 且 对 于 特 定 的 基 底 以 及 逼 近 方 式 ， 我 们 可 以 将 线 性 系 统 的 关 键 矩 阵 精 确 地 算 出 来 。 此 外 ， 我 们 还 讨 论 了 H i P P O 的 离 散 化 和 相 关 性 质 等 问 题 ， 这 些 内 容 奠 定 了 后 续 的 S S M 工 作 的 理 论 基 础 。 接 下 来 ， 我 们 将 介 绍 H i P P O 的 后 续 应 用 篇 《 E f f i c i e n t l y M o d e l i n g L o n g S e q u e n c e s w i t h S t r u c t u r e d S t a t e S p a c e s 》 （ 简 称 S 4 ） ， 它 利 用 H i P P O 的 推 导 结 果 作 为 序 列 建 模 的 基 本 工 具 ， 并 从 新 的 视 角 探 讨 了 高 效 的 计 算 和 训 练 方 式 ， 最 后 在 不 少 长 序 列 建 模 任 务 上 验 证 了 它 的 有 效 性 ， 可 谓 S S M 乃 至 R N N 复 兴 的 代 表 作 之 一 。 基 本 框 架 S 4 使 用 的 序 列 建 模 框 架 ， 是 如 下 的 线 性 O D E 系 统 ： \ \ b e g i n \ \ b e g i n x ( t ) = & \ \ , A x ( t ) + B u ( t ) \ \ \ \ y ( t ) = & \ \ , C ^ * x ( t ) + D u ( t ) \ \ e n d \ \ e n d 点 击 阅 读 全 文 . . . 分 类 ： 数 学 研 究     标 签 ： 矩 阵 , 线 性 , R N N , s s m 阅 读 全 文 1 评 论 1 4 J u n 通 向 概 率 分 布 之 路 ： 盘 点 S o f t m a x 及 其 替 代 品 B y 苏 剑 林 | 2 0 2 4 0 6 1 4 | 5 1 7 2 位 读 者 | 引 用 不 论 是 在 基 础 的 分 类 任 务 中 ， 还 是 如 今 无 处 不 在 的 注 意 力 机 制 中 ， 概 率 分 布 的 构 建 都 是 一 个 关 键 步 骤 。 具 体 来 说 ， 就 是 将 一 个 $ n $ 维 的 任 意 向 量 ， 转 换 为 一 个 $ n $ 元 的 离 散 型 概 率 分 布 。 众 所 周 知 ， 这 个 问 题 的 标 准 答 案 是 S o f t m a x ， 它 是 指 数 归 一 化 的 形 式 ， 相 对 来 说 比 较 简 单 直 观 ， 同 时 也 伴 有 很 多 优 良 性 质 ， 从 而 成 为 大 部 分 场 景 下 的 “ 标 配 ” 。 尽 管 如 此 ， S o f t m a x 在 某 些 场 景 下 也 有 一 些 不 如 人 意 之 处 ， 比 如 不 够 稀 疏 、 无 法 绝 对 等 于 零 等 ， 因 此 很 多 替 代 品 也 应 运 而 生 。 在 这 篇 文 章 中 ， 我 们 将 简 单 总 结 一 下 S o f t m a x 的 相 关 性 质 ， 并 盘 点 和 对 比 一 下 它 的 部 分 替 代 方 案 。 S o f t m a x 回 顾 首 先 引 入 一 些 通 用 记 号 ： $ \ \ b o l d s y m b o l = ( x _ 1 , x _ 2 , \ \ c d o t s , x _ n ) \ \ i n \ \ m a t h b b ^ n $ 是 需 要 转 为 概 率 分 布 的 $ n $ 维 向 量 ， 它 的 分 量 可 正 可 负 ， 也 没 有 限 定 的 上 下 界 。 $ \ \ D e l t a ^ $ 定 义 为 全 体 $ n $ 元 离 散 概 率 分 布 的 集 合 ， 即 \ \ b e g i n \ \ D e l t a ^ = \ \ l e f t \ \ = ( p _ 1 , p _ 2 , \ \ c d o t s , p _ n ) \ \ l e f t | \ \ , p _ 1 , p _ 2 , \ \ c d o t s , p _ n \ \ g e q 0 , \ \ s u m _ ^ n p _ i = 1 \ \ r i g h t . \ \ r i g h t \ \ } \ \ e n d 之 所 以 标 注 $ n 1 $ 而 不 是 $ n $ ， 是 因 为 约 束 $ \ \ s u m \ \ l i m i t s _ ^ n p _ i = 1 $ 定 义 了 $ n $ 维 空 间 中 的 一 个 $ n 1 $ 维 子 平 面 ， 再 加 上 $ p _ i \ \ g e q 0 $ 的 约 束 ， $ ( p _ 1 , p _ 2 , \ \ c d o t s , p _ n ) $ 的 集 合 就 只 是 该 平 面 的 一 个 子 集 ， 即 实 际 维 度 只 有 $ n 1 $ 。 点 击 阅 读 全 文 . . . 分 类 ： 数 学 研 究     标 签 ： 概 率 , 分 析 , 损 失 函 数 , 梯 度 阅 读 全 文 2 评 论 5 J u n 重 温 S S M （ 二 ） ： H i P P O 的 一 些 遗 留 问 题 B y 苏 剑 林 | 2 0 2 4 0 6 0 5 | 5 5 2 3 位 读 者 | 引 用 书 接 上 文 ， 在 上 一 篇 文 章 《 重 温 S S M （ 一 ） ： 线 性 系 统 和 H i P P O 矩 阵 》 中 ， 我 们 详 细 讨 论 了 H i P P O 逼 近 框 架 其 H i P P O 矩 阵 的 推 导 ， 其 原 理 是 通 过 正 交 函 数 基 来 动 态 地 逼 近 一 个 实 时 更 新 的 函 数 ， 其 投 影 系 数 的 动 力 学 正 好 是 一 个 线 性 系 统 ， 而 如 果 以 正 交 多 项 式 为 基 ， 那 么 线 性 系 统 的 核 心 矩 阵 我 们 可 以 解 析 地 求 解 出 来 ， 该 矩 阵 就 称 为 H i P P O 矩 阵 。 当 然 ， 上 一 篇 文 章 侧 重 于 H i P P O 矩 阵 的 推 导 ， 并 没 有 对 它 的 性 质 做 进 一 步 分 析 ， 此 外 诸 如 “ 如 何 离 散 化 以 应 用 于 实 际 数 据 ” 、 “ 除 了 多 项 式 基 外 其 他 基 是 否 也 可 以 解 析 求 解 ” 等 问 题 也 没 有 详 细 讨 论 到 。 接 下 来 我 们 将 补 充 探 讨 相 关 问 题 。 离 散 格 式 假 设 读 者 已 经 阅 读 并 理 解 上 一 篇 文 章 的 内 容 ， 那 么 这 里 我 们 就 不 再 进 行 过 多 的 铺 垫 。 在 上 一 篇 文 章 中 ， 我 们 推 导 出 了 两 类 线 性 O D E 系 统 ， 分 别 是 ： \ \ b e g i n & \ \ t e x t \ \ q u a d x ( t ) = A x ( t ) + B u ( t ) \ \ l a b e l \ \ \ \ [ 5 p t ] & \ \ t e x t \ \ q u a d x ( t ) = \ \ f r a c x ( t ) + \ \ f r a c u ( t ) \ \ l a b e l \ \ e n d 其 中 $ A , B $ 是 与 时 间 $ t $ 无 关 的 常 数 矩 阵 ， H i P P O 矩 阵 主 要 指 矩 阵 $ A $ 。 在 这 一 节 中 ， 我 们 讨 论 这 两 个 O D E 的 离 散 化 。 点 击 阅 读 全 文 . . . 分 类 ： 数 学 研 究     标 签 ： 线 性 , 差 分 , R N N , 梯 度 , s s m 阅 读 全 文 2 评 论 2 9 M a y T r a n s f o r m e r 升 级 之 路 ： 1 8 、 R o P E 的 底 数 选 择 原 则 B y 苏 剑 林 | 2 0 2 4 0 5 2 9 | 5 8 2 0 5 位 读 者 | 引 用 我 们 知 道 ， 在 R o P E 中 频 率 的 计 算 公 式 为 $ \ \ t h e t a _ i = b ^ $ ， 底 数 $ b $ 默 认 值 为 1 0 0 0 0 。 目 前 L o n g C o n t e x t 的 主 流 做 法 之 一 是 ， 先 在 $ b = 1 0 0 0 0 $ 上 用 短 文 本 预 训 练 ， 然 后 调 大 $ b $ 并 在 长 文 本 微 调 ， 其 出 发 点 是 《 T r a n s f o r m e r 升 级 之 路 ： 1 0 、 R o P E 是 一 种 β 进 制 编 码 》 里 介 绍 的 N T K R o P E ， 它 本 身 有 较 好 长 度 外 推 性 ， 换 用 更 大 的 $ b $ 再 微 调 相 比 不 加 改 动 的 微 调 ， 起 始 损 失 更 小 ， 收 敛 也 更 快 。 该 过 程 给 人 的 感 觉 是 ： 调 大 $ b $ 完 全 是 因 为 “ 先 短 后 长 ” 的 训 练 策 略 ， 如 果 一 直 都 用 长 文 本 训 练 似 乎 就 没 必 要 调 大 $ b $ 了 ？ 上 周 的 论 文 《 B a s e o f R o P E B o u n d s C o n t e x t L e n g t h 》 试 图 回 答 这 个 问 题 ， 它 基 于 一 个 期 望 性 质 研 究 了 $ b $ 的 下 界 ， 由 此 指 出 更 大 的 训 练 长 度 本 身 就 应 该 选 择 更 大 的 底 数 ， 与 训 练 策 略 无 关 。 整 个 分 析 思 路 颇 有 启 发 性 ， 接 下 来 我 们 一 起 来 品 鉴 一 番 。 点 击 阅 读 全 文 . . . 分 类 ： 信 息 时 代     标 签 ： 不 等 式 , a t t e n t i o n , 位 置 编 码 , r o p e 阅 读 全 文 7 评 论 2 4 M a y 重 温 S S M （ 一 ） ： 线 性 系 统 和 H i P P O 矩 阵 B y 苏 剑 林 | 2 0 2 4 0 5 2 4 | 1 1 5 9 6 位 读 者 | 引 用 前 几 天 ， 笔 者 看 了 几 篇 介 绍 S S M （ S t a t e S p a c e M o d e l ） 的 文 章 ， 才 发 现 原 来 自 己 从 未 认 真 了 解 过 S S M ， 于 是 打 算 认 真 去 学 习 一 下 S S M 的 相 关 内 容 ， 顺 便 开 了 这 个 新 坑 ， 记 录 一 下 学 习 所 得 。 S S M 的 概 念 由 来 已 久 ， 但 这 里 我 们 特 指 深 度 学 习 中 的 S S M ， 一 般 认 为 其 开 篇 之 作 是 2 0 2 1 年 的 S 4 ， 不 算 太 老 ， 而 S S M 最 新 最 火 的 变 体 大 概 是 去 年 的 M a m b a 。 当 然 ， 当 我 们 谈 到 S S M 时 ， 也 可 能 泛 指 一 切 线 性 R N N 模 型 ， 这 样 R W K V 、 R e t N e t 还 有 此 前 我 们 在 《 G o o g l e 新 作 试 图 “ 复 活 ” R N N ： R N N 能 否 再 次 辉 煌 ？ 》 介 绍 过 的 L R U 都 可 以 归 入 此 类 。 不 少 S S M 变 体 致 力 于 成 为 T r a n s f o r m e r 的 竞 争 者 ， 尽 管 笔 者 并 不 认 为 有 完 全 替 代 的 可 能 性 ， 但 S S M 本 身 优 雅 的 数 学 性 质 也 值 得 学 习 一 番 。 尽 管 我 们 说 S S M 起 源 于 S 4 ， 但 在 S 4 之 前 ， S S M 有 一 篇 非 常 强 大 的 奠 基 之 作 《 H i P P O : R e c u r r e n t M e m o r y w i t h O p t i m a l P o l y n o m i a l P r o j e c t i o n s 》 （ 简 称 H i P P O ） ， 所 以 本 文 从 H i P P O 开 始 说 起 。 点 击 阅 读 全 文 . . . 分 类 ： 数 学 研 究     标 签 ： 微 分 方 程 , 线 性 , R N N , s s m 阅 读 全 文 2 8 评 论 1 3 M a y 缓 存 与 效 果 的 极 限 拉 扯 ： 从 M H A 、 M Q A 、 G Q A 到 M L A B y 苏 剑 林 | 2 0 2 4 0 5 1 3 | 2 6 7 3 2 位 读 者 | 引 用 前 几 天 ， 幻 方 发 布 的 D e e p S e e k V 2 引 起 了 大 家 的 热 烈 讨 论 。 首 先 ， 最 让 人 哗 然 的 是 1 块 钱 1 0 0 万 t o k e n 的 价 格 ， 普 遍 比 现 有 的 各 种 竞 品 A P I 便 宜 了 两 个 数 量 级 ， 以 至 于 有 人 调 侃 “ 这 个 价 格 哪 怕 它 输 出 乱 码 ， 我 也 会 认 为 这 个 乱 码 是 一 种 艺 术 ” ； 其 次 ， 从 模 型 的 技 术 报 告 看 ， 如 此 便 宜 的 价 格 背 后 的 关 键 技 术 之 一 是 它 新 提 出 的 M L A （ M u l t i h e a d L a t e n t A t t e n t i o n ） ， 这 是 对 G Q A 的 改 进 ， 据 说 能 比 G Q A 更 省 更 好 ， 也 引 起 了 读 者 的 广 泛 关 注 。 接 下 来 ， 本 文 将 跟 大 家 一 起 梳 理 一 下 从 M H A 、 M Q A 、 G Q A 到 M L A 的 演 变 历 程 ， 并 着 重 介 绍 一 下 M L A 的 设 计 思 路 。 M H A M H A （ M u l t i H e a d A t t e n t i o n ） ， 也 就 是 多 头 注 意 力 ， 是 开 山 之 作 《 A t t e n t i o n i s a l l y o u n e e d 》 所 提 出 的 一 种 A t t e n t i o n 形 式 ， 可 以 说 它 是 当 前 主 流 L L M 的 基 础 工 作 。 在 数 学 上 ， 多 头 注 意 力 M H A 等 价 于 多 个 独 立 的 单 头 注 意 力 的 拼 接 ， 假 设 输 入 的 （ 行 ） 向 量 序 列 为 $ \ \ b o l d s y m b o l _ 1 , \ \ b o l d s y m b o l _ 2 , \ \ c d o t s , \ \ b o l d s y m b o l _ l $ ， 其 中 $ \ \ b o l d s y m b o l _ i \ \ i n \ \ m a t h b b ^ d $ ， 那 么 M H A 可 以 形 式 地 记 为 点 击 阅 读 全 文 . . . 分 类 ： 信 息 时 代     标 签 ： 优 化 , 语 言 模 型 , 生 成 模 型 , a t t e n t i o n 阅 读 全 文 4 6 评 论 7 M a y C o o l P a p e r s 更 新 ： 简 单 搭 建 了 一 个 站 内 检 索 系 统 B y 苏 剑 林 | 2 0 2 4 0 5 0 7 | 1 3 2 4 1 位 读 者 | 引 用 自 从 《 更 便 捷 的 C o o l P a p e r s 打 开 方 式 ： C h r o m e 重 定 向 扩 展 》 之 后 ， C o o l P a p e r s 有 两 次 比 较 大 的 变 化 ， 一 次 是 引 入 了 v e n u e 分 支 ， 逐 步 收 录 了 一 些 会 议 历 年 的 论 文 集 ， 如 I C L R 、 I C M L 等 ， 这 部 分 是 动 态 人 工 扩 充 的 ， 欢 迎 有 心 仪 的 会 议 的 读 者 提 更 多 需 求 ； 另 一 次 就 是 本 文 的 主 题 ， 前 天 新 增 加 的 站 内 检 索 功 能 。 本 文 将 简 单 介 绍 一 下 新 增 功 能 ， 并 对 搭 建 站 内 检 索 系 统 的 过 程 做 个 基 本 总 结 。 简 介 在 C o o l P a p e r s 的 首 页 ， 我 们 看 到 搜 索 入 口 ： C o o l P a p e r s （ 2 0 2 4 . 0 5 . 0 7 ） 点 击 阅 读 全 文 . . . 分 类 ： 信 息 时 代 , 生 活 / 情 感     标 签 ： 网 站 , 论 文 阅 读 全 文 2 1 评 论 1 M a y 以 蒸 馏 的 名 义 ： “ 从 去 噪 自 编 码 器 到 生 成 模 型 ” 重 现 江 湖 B y 苏 剑 林 | 2 0 2 4 0 5 0 1 | 1 6 2 6 8 位 读 者 | 引 用 今 天 我 们 分 享 一 下 论 文 《 S c o r e i d e n t i t y D i s t i l l a t i o n : E x p o n e n t i a l l y F a s t D i s t i l l a t i o n o f P r e t r a i n e d D i f f u s i o n M o d e l s f o r O n e S t e p G e n e r a t i o n 》 ， 顾 名 思 义 ， 这 是 一 篇 探 讨 如 何 更 快 更 好 地 蒸 馏 扩 散 模 型 的 新 论 文 。 即 便 没 有 做 过 蒸 馏 ， 大 家 应 该 也 能 猜 到 蒸 馏 的 常 规 步 骤 ： 随 机 采 样 大 量 输 入 ， 然 后 用 扩 散 模 型 生 成 相 应 结 果 作 为 输 出 ， 用 这 些 输 入 输 出 作 为 训 练 数 据 对 ， 来 监 督 训 练 一 个 新 模 型 。 然 而 ， 众 所 周 知 作 为 教 师 的 原 始 扩 散 模 型 通 常 需 要 多 步 （ 比 如 1 0 0 0 步 ） 迭 代 才 能 生 成 高 质 量 输 出 ， 所 以 且 不 论 中 间 训 练 细 节 如 何 ， 该 方 案 的 一 个 显 著 缺 点 是 生 成 训 练 数 据 太 费 时 费 力 。 此 外 ， 蒸 馏 之 后 的 学 生 模 型 通 常 或 多 或 少 都 有 效 果 损 失 。 有 没 有 方 法 能 一 次 性 解 决 这 两 个 缺 点 呢 ？ 这 就 是 上 述 论 文 试 图 要 解 决 的 问 题 。 点 击 阅 读 全 文 . . . 分 类 ： 数 学 研 究 , 信 息 时 代     标 签 ： 生 成 模 型 , 梯 度 , 扩 散 , 去 噪 阅 读 全 文 2 3 评 论 1 2 3 4 . . . 1 5 1 » 关 于 站 长 苏 剑 林 | B o J o n e ， 科 学 空 间 博 主 ， 【 数 学 、 天 文 、 理 论 物 理 、 写 作 、 阅 读 、 计 算 机 、 中 国 象 棋 、 厨 房 】 爱 好 者 （ 但 不 专 业 ） . . . . . . 目 前 3 1 岁 ， 还 在 单 调 递 增 。 希 望 能 一 直 在 此 分 享 科 学 之 美 ～ 你 也 许 会 关 心 ： 科 学 空 间 | S c i e n t i f i c S p a c e s 介 绍 科 学 空 间 Q Q 交 流 群 ： 6 7 7 2 9 4 3 5 科 学 空 间 微 信 交 流 群 ： s p a c e s _ a c _ c n 常 见 问 题 集 ： 《 科 学 空 间 F A Q 》 智 能 搜 索 支 持 整 句 搜 索 ！ 网 站 自 动 使 用 结 巴 分 词 进 行 分 词 ， 并 结 合 n g r a m s 排 序 算 法 给 出 合 理 的 搜 索 结 果 。 热 门 标 签 生 成 模 型 a t t e n t i o n 模 型 语 言 模 型 优 化 概 率 网 站 转 载 微 分 方 程 天 象 深 度 学 习 积 分 分 析 p y t h o n 梯 度 无 监 督 力 学 节 日 几 何 矩 阵 文 本 生 成 数 论 G A N 生 活 扩 散 最 新 文 章 重 温 S S M （ 三 ） ： H i P P O 的 高 效 计 算 （ S 4 ） 通 向 概 率 分 布 之 路 ： 盘 点 S o f t m a x 及 其 替 代 品 重 温 S S M （ 二 ） ： H i P P O 的 一 些 遗 留 问 题 T r a n s f o r m e r 升 级 之 路 ： 1 8 、 R o P . . . 重 温 S S M （ 一 ） ： 线 性 系 统 和 H i P P O 矩 阵 缓 存 与 效 果 的 极 限 拉 扯 ： 从 M H A 、 M Q A 、 G Q . . . C o o l P a p e r s 更 新 ： 简 单 搭 建 了 一 个 站 . . . 以 蒸 馏 的 名 义 ： “ 从 去 噪 自 编 码 器 到 生 成 模 型 ” 重 现 江 湖 生 成 扩 散 模 型 漫 谈 （ 二 十 四 ） ： 少 走 捷 径 ， 更 快 到 达 生 成 扩 散 模 型 漫 谈 （ 二 十 三 ） ： 信 噪 比 与 大 图 生 成 （ 下 ） 最 近 评 论 梁 宇 辰 : 论 文 中 实 际 采 用 了 $ L ^ \ \ D e l t a $ , 鄙 人 没 看 出 来 这 有 什 么 道 理 ， $ L ^ 1 $ 效 果 再 差 也 不 至 于 直 接 . . . J i a r u : 请 教 一 下 ： 为 什 么 式 （ 4 ） 下 面 提 到 ， 即 便 $ \ \ s i g m a _ t = 0 $ ， 对 应 的 方 差 也 不 为 0 呢 ？ 根 据 推 导 . . . J i a r u : 请 教 一 下 ： 为 什 么 式 （ 4 ） 下 面 提 到 ， 即 便 $ \ \ s i g m a _ t = 0 $ ， 对 应 的 方 差 也 不 为 0 呢 ？ 根 据 推 导 . . . d s p w a n g : 感 谢 博 主 分 享 ！ z h o u x i n x i n : 有 理 论 可 以 证 明 g a n 的 建 模 是 无 损 的 吗 ， 苏 神 z h o u x i n x i n : 时 间 维 度 和 特 征 维 度 的 区 别 吗 ， 苏 神 小 余 : 苏 神 ， 最 近 在 拜 读 您 合 作 的 一 篇 关 于 扩 散 模 型 暴 露 偏 差 的 论 文 《 E L U C I D A T I N G T H E E X P . . . Z . T : 这 种 算 法 不 还 得 是 每 个 位 置 算 一 次 傅 里 叶 变 换 嘛 ？ y L 和 y L 1 不 能 同 时 算 出 来 周 名 远 : 蒸 馏 S t a b l e D i f f u s i o n 的 S i D L S G 算 法 和 模 型 c h e c k p o i n t s 已 经 上 线 了 . . . s o n d e r : 苏 神 好 ， 请 问 2 d 的 r o p e 写 成 完 整 形 式 是 这 个 样 子 的 吗 扩 展 到 多 维 后 的 公 式 如 下 ： $ $ \ \ l . . . 友 情 链 接 C o o l P a p e r s 数 学 研 发 S e a t o p X i a o x i a 积 分 表 网 络 版 丝 路 博 傲 p h 4 n t a s y 饭 特 稀 数 学 之 家 有 趣 天 文 奇 观 b s k y T w i s t e d W g o d w e i y a n g A I 柠 檬 王 登 科 D K 博 客 E S O N 枫 之 羽 M a t h o r s b l o g 孙 云 增 的 博 客 c o d i n g z u o 博 科 园 孔 皮 皮 的 博 客 运 鹏 的 博 客 j i m i n g . s i t e O m e g a X Y Z B l o g b y E a c l s 申 请 链 接 本 站 采 用 创 作 共 用 版 权 协 议 ， 要 求 署 名 、 非 商 业 用 途 和 保 持 一 致 。 转 载 本 站 内 容 必 须 也 遵 循 “ 署 名 非 商 业 用 途 保 持 一 致 ” 的 创 作 共 用 协 议 。 © 2 0 0 9 2 0 2 4 S c i e n t i f i c S p a c e s . A l l r i g h t s r e s e r v e d . T h e m e b y l a o g u i . P o w e r e d b y T y p e c h o . 备 案 号 : 粤 I C P 备 0 9 0 9 3 2 5 9 号 1 / 2 。

域名(spaces.ac.cn)由网友主动性提交被快马导航网整理收录的，本页最后更新时间为：2024-06-25 15:15:29，快马导航网仅提供spaces.ac.cn的基础信息并免费向广大游客展示，该站IP地址为8.130.21.162 [中国北京北京 阿里云]，该站打开速度为545毫秒，该站的百度权重为1、百度手机权重为1、百度收录为38298条、360收录为3570条、搜狗收录为102536条、谷歌收录为0条、百度来访流量大约在114之间、百度手机端来访流量大约在70之间、spaces.ac.cn的备案号是粤ICP备09093259号、备案人叫苏剑林、被百度收录的关键词有163个、手机端关键词有14个、迄今为止已经创建15年2个月21天，其内容不代表本站赞成被显示该站点的内容或立场，相关资料: txt下载、docx下载、pdf下载、rar下载、zip下载，本页地址：https://www.q16k.com/links/z1s6v3db6uet0rk64gx6.html。