合描述蛋白质序列。在 AlphaFold2中，每个氨基酸被视为一个单词，一串氨基酸序列就构成了一句 “话”。通过Transformer模型，AlphaFold2能够理解蛋白质序列中的“语境”，进 而预测出蛋白质的三维结构。 AlphaFold2的输入主要为蛋白质序列的多序列比对(MSA)结果，MSA的构 建方式是将输入的蛋白质序列与蛋白质数据库中的序列进行多比对，提取出与输 入序列相似的所有序 入序列相似的所有序列，并构建为一个矩阵。这种比对基于这样一个假设：序列 的相似性表示它们具有共同的进化起源。多序列比对可以帮助确定多物种保守的 序列区域，这些区域在进化过程中保持不变，可能是因为它们对生物有重要的功 能。AlphaFold2通过MSA来提取出蛋白质序列的进化信息，此外，如果在MSA 中的多个序列中观察到两个位置的氨基酸同时变化，那么这可能暗示这两个氨基 酸在蛋白质的空间结构中是相互接近的。Alpha ESMfold。 ESMfold放弃了MSA的构建步骤，而是采用了使用一个蛋白质大语言模型 ESM2，来对氨基酸之间的相互作用模式进行表征。ESM2同样基于 Transformer架构，可以针对输入的蛋白质序列直接提取出其包含进化信息 embedding。该embedding可以直接输入类似AlphaFold的Evoformer中。 这种端到端的计算方法，使得ESMfold的推理速度比AlphaFold2快了一个数量

流的多样性灵活性，另一 方面也在于它们只能拟合数据而无法捕捉概念。然而，随着深度学习的提出，人工智能模型所能表达的内容 越来越不局限于整理好的表格数据，而开始掌握复杂序列当中的规律。例如在生物学中，蛋白质的结构和基 因序列已经能通过深度学习进行捕捉。因此在这些学科，深度学习成为了创新的工具（Method of Innovation） (Agrawal et al., 2018)。他们在已有 动化的实验验证，可以极大提高知识生产的效率。 生成式人工智能，尤其是大语言模型的出现，极大拓展了人工智能在社会科学中的应用场景 (Bail, 2024; Korinek, 2023)。大语言模型实质上也是一种序列模型，只不过它处理的是语言。然而，恰恰就是因为它捕捉 了语言的含义，使得它第一次有可能对社会科学的研究流程产生全面的影响。社会科学高度依赖自然语言：自 然语言描述了人类的行为，也是社会科学家沟通 对语言序列的概率建模。具体来说， 语言模型通过学习大量文本数据，掌握词语之间的统计规律和语义关系，从而能够生成符合语言规则的文本。 语言是一种时间序列 语言可以被视为一种时间序列，由一系列词元（Token）组成。词元可以是字母、标点 符号、数字或汉字等。例如，一个英文单词是一个词元，一个汉字也可以是一个词元，一串数字也可以是一个 词元。词元是语言的基本单位，通过将语言分解为词元序列，可以更方便地进行数学建模和计算。进而，一个

Statista，2021 年全球制药行业总收入约 1.5 万亿美金，制药研发投入 约 2.4 千亿美金。DeepMind 是最早用 AI 赋能新药开发的企业之一，其推出 的 AlphaFold 主要解决从已知的氨基酸序列，预测相应蛋白质 3D 结构的问 题，为探索生命的起源迈出重要的一步。随着生成式 AI 的出现，业内开始 探索自动根据功能需求设计/优化蛋白质、给定抗原等目标蛋白生成抗体等 蛋白、给定靶点一键生成 Binder Biosciences 和加州大学研究团队发布的蛋白质语言模型 ProGen，在数百万个原始蛋白质序列上训练，可生成跨多个家族和功能的人造蛋白质。不 同于 AlphaFold2 利用 AI 的手段辅助理解自然界已有的蛋白结构，以 ProGen 为例的类 ChatGPT 生成式 AI 的目标是生成自然界不存在的人工蛋白质序列。虽然生成式 AI 在制药 领域的应用仍处于起步阶段，但天壤 XLab 负责人苗洪江博士认为，从 晶泰科技通过无标记的蛋白质序列数据（约 2.8 亿条）+抗体序列数据训练出的 ProteinGPT 可以一键生成符合要求的蛋白药物，应用案例包括：1）根据给定的靶点一键生成 Binder 蛋白；2）根据指定要求一键生成抗体文库；3）对性质欠佳的抗体进行改造，一键生成优 化后的抗体。 AlphaFold2 生成式AI 蛋白质结构预测：基于氨基酸序列，预测已知基因序 列的蛋白

4、职能序列 结构⼯资制 80％ 20％ — － √ √ － ⻣⼲层福利 5、销售序列 效益提成⼯资 55% — 45% — — √ — ⻣⼲层福利 B业 务板 块 1、⾼层管理 股权激励 √ － － － － － √ ⾼层福利 2、中层管理 年薪制 60% 40% － — — √ － 中层福利 3、销售序列 效益提成⼯资 50% — 50% — — √ — ⻣⼲层福利 4、技术序列 结构⼯资制 结构⼯资制 80％ 20％ — — √ √ — ⻣⼲层福利 5、职能序列 结构⼯资制 80％ 20％ — － － √ － 基层福利 某企业岗位类型与薪酬结构表 示意 最终形成⼀套外具竞争⼒、内具公平性的薪酬体系，通过绩效与 薪酬的挂钩，短期和⻓期激励相结合来充分调动员⼯⼯作积极性 公平性  进⾏岗位价值评估，确定各 岗位在公司中的相对价值  以岗位价值，确定各岗位的 薪酬⽔平  ⼈才队伍。 •打造员⼯和企业共同发展平台：通过打造员⼯和公司共同发展的平台，满⾜员⼯ ⻓期发展“实现⾃身价值”的需要，实现公司和员⼯共同成⻓的同时实现公司价值； •职业⽣涯规划：建⽴专业序列、营销序列、技术序列等任职资格管理体系，明确 “员⼯职业⽣涯规划”，找出员⼯⾃身能⼒的优势和不⾜，为关键岗位员⼯指明职业 发展的⽅向。 •薪酬管理：进⼀步完善员⼯的薪酬和福利待遇，形成较为完善的薪酬体系；

使用基于 Trans- former 体素编码器得到体素特征, 而自然语言则通 过 CLIP 的语言编码器转化为语言特征, 随后体素 特征一起输入至 Perceiver Transformer, 最后输出 序列经过解码器处理, 恢复到原始体素网格的维度, 并用于预测离散化的行动动作. 通过对场景进行三 维体素化, 并使用编码器进行场景、语言的特征提 取, PerAct 能够有效地对环境进行建模, 获取全局 考虑对同一物体执行不同任务时对应的关键点相似 但动作可能截然不同, KITE 使用大语言模型从指 令中提取任务类型 (如抓取、放置、开启、关闭), 并 将锚定模块所得关键点与任务类型输入至动作生成 模块中, 得到完成整个任务所需的动作序列. 实验 表明, 相比于依赖预训练视觉语言模型或仅采用端 到端视觉运动控制而忽视技能模块的方法, KITE 在演示数据较少或相当的情况下训练效果更优. CoPa[96] 通过部件空间约束实现通用机器人操 通过语言提示使视 觉语言生成相应的空间几何约束. 获取操作约束之 后, CoPa 计算出抓取后的一系列目标姿态, 并将目 标姿态规划形式化为一个受约束的优化问题, 从而 得出符合物理规律且能精准执行的连续动作序列. Robo-ABC[98] 则通过从人类视频中提取物体的 交互经验, 并存储为可供性的经验, 当面对新物体 时, 机器人通过检索记忆中视觉或语义上相似的物 体来获得可供性, 并利用预训练的扩散模型将检索

神经语言模型 （NLM） 预训练语言模 型（PLM） 大语言模型 （LLM） Seq2Seq建模 基于循环神经网络RNN描述单 词序列的概率 • 优点：通过词嵌入和隐 藏层，上下文捕捉和泛 化能力较强； • 缺点：计算复杂度高， 面对长文本序列仍会有 “灾难性遗忘”问题 基于文本概率分布建模 通常基于马尔可夫假设建立词 预测模型（N-gram） • 优点：可解释、计算速 度快 大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研 浙江大学人工智能教 浙 编码器Encoder 处理输入序列 解码器 Decoder 生成输出序列 Google (2017): Attention is all you need 嵌入层Embedding Word Embedding: 目的是将这些非结构化的文本信息转化为结构化 自注意力机制：使序列中的每个单词都能“关注”其他单词，包括自己 在内，以更好地理解上下文。（通过计算输入序列中每个位置与其他位置之间 的注意力权重，得到加权的位置向量作为输出） 多头注意力机制：多个独立计算的自注意力机制，将相同的输入映射到 不同的空间中进行上下文理解，使得模型获得了对输入序列有更细致透视，丰 富了其表示，带有多样化的上下文信息。 前馈网络Feed Forward 捕捉序列中元素之

period/2，波形二的近距离盲区边界和最大不模 糊探测范围分别为 cτ2 pulse/2 和 cτ2 period/2。需要指出的是，这里假设波形一中各个脉冲的调 制序列是相同的、脉冲二中各个脉冲的调制序列也是相同的，这也是雷达技术中通常采用的 设计。如果能够通过调制序列区分同一种波形内的各个脉冲，则能够增大最大不模糊距离。 为了实现一定距离范围内的连续覆盖，波形二的最大不模糊测量范围需要小于或等于波形一 的近距离盲区边界，从而要求τ2 PRACH（物理随机接入信道）机制实现随机接入。由于缺乏足够 的正交前导序列，其对于大规模接入而言是不可扩展的。一方面，PRACH 机制是经典 ALOHA 的一个变种，它对被允许接入网络的活跃终端数量施加了限制。另一方面，相对于 终端数目的海量特性，相干时频块大小有限仅能支持少量的正交前导序列，每一终端从相同 的序列集合中随机选择一个序列来执行接入，不可避免地导致严重的序列碰撞和无法忍受的 接入时延。随着传输-冲突- 信令交互急剧增加，信令风 暴开销远超机器类型终端所要发送的有效数据载荷。例如，在 PRACH 的四步过程中，只有 64 个长度为 863 的 Zadoff-Chu (ZC) 序列可用。前导序列的随机分配，不仅引发序列冲突 导致性能下降（在步骤 1)，而且需要一个额外但必须的步骤（步骤 3）用于向基站（BS） 报告显性的用户 ID。因此，对于随机接入 6G 需要一个可扩展的设计方案。所需的时频资

如何推荐出合理的节能时间窗口，NCE-CampusInsight 可基于各 AP 上报的历史终端数据，生成时 间相关的网络潮汐序列，并通过校验潮汐序列平稳性，判断当前网络潮汐是否规律。若不规律，则不推 荐节能时间窗口；若规律，则进一步通过异常检测算法去除序列扰动，通过时序预测算法预测未来潮汐 序列，根据潮汐低谷可作为节能窗口的条件筛选出推荐的节能时间窗口。 注意事项： 1. 节能时间窗口推荐

（random walk），如果节点 之间有 weight 可以根据 weight 的不同进行 walk 来生成类似文本的序列数据，实体 id 作为一 个个词使用 skip gram 训练得到词向量。 算法的大体思路就是：根据图中节点随机游走 -> 生成一定长度的序列 -> 利用 skip-gram 进 行训练。 02 生成Graph Embedding常用方法及其原理 11 | 第一部分 就是不同的节点，实线就是节点之间的边也可以称为关系。 图 1 14 | 第一部分 第二步：使用 Deepwalk、LINE 生成 embedding。对于 Deepwalk 可以直接根据 network 生 成不同的文本序列，利用 skip-gram 进行模型的训练。而对于 LINE 可以直接利用不同实体的 共现次数作为模型的输入。 第三步：优化训练数据。我们发现不同的实体出现次数的量级是不同的，比如专业在 JD 中就很 提 供 多 样 化 的 使 用 方 式。模 型 最 后 一 层 输 出 和 输 入 序 列 等 长 的 Embedding 序列，其中第一个 Embedding 包含整条数据的特征，之后每个 Embedding 与输 入序列的词语一一对应，分别是每个词语的动态特征。将序列头 Embedding 接入下游任务网络 中可以对模型进行 fine-tune，可进一步用于不同的细分领域任务。同时，其余 Embedding