Reader

评估AlphaFold3的综合基准?澳门理工姚小军、浙大侯廷军团队开发PepPCBench

| 机器之心 | Default

编辑 | 菠菜

还记得预测所有生物大分子的 AlphaFold3(AF3)吗?距离它的发布已经过去了接近一年的时间。

在这一年里,有百余篇研究论文提及或引用了 AF3。它切切实实促进了生物大分子研究、药物发现、疾病研究等多个领域的发展。

最近,澳门理工大学姚小军、浙江大学侯廷军团队推出了 PepPCBench,这是一个专门为评估 AF3 预测蛋白质-肽复合物能力而开发的综合基准框架。

该团队使用精心挑选的数据集 PepPCSet,该数据集包含 261 个蛋白质-肽复合物,肽长度从 5 到 30 个残基不等(不包含 AF3 的训练集或验证集中的数据)。

基准测试结果表明,AF3 在预测准确度和结构验证方面优于其他 PFNN。然而,其性能对于实际的肽类药物研发而言仍然不足,仍有改进空间。

研究人员表示,PepPCBench 有望为增强蛋白质-肽复合物结构预测和肽类药物研发提供重要见解。

该研究以「PepPCBench is a Comprehensive Benchmark for Protein-Peptide Complex Structure Prediction with AlphaFold3」为题,于 2025 年 4 月 13 日发布在 bioRxiv 预印平台。

图片

肽介导高达40%的蛋白质-蛋白质相互作用(PPI),具有高特异性,能够靶向小分子无法接近的结合位点,使其成为药物开发中的候选药物。

精确建模蛋白质-肽复合物对于理解基本生物学过程和推进基于肽的药物设计至关重要。然而,由于肽的构象灵活性高,预测其与蛋白质的相互作用仍然是一项重大挑战。

AlphaFold3 (AF3) 等全原子蛋白质折叠神经网络(PFNN)为例,已将预测能力从蛋白质扩展到蛋白质-肽复合物。然而,现有的评估方法往往范围有限,缺乏对 PFNN 在蛋白质-肽复合物预测中性能的系统、多维度和公平的比较。

澳门理工大学、浙江大学的研究团队提出了 PepPCBench,这是一个专门用于评估 PFNN(尤其关注 AF3)预测蛋白质-肽复合物结构性能的综合基准测试。

图片

图示:使用 PFNN 进行蛋白质-肽复合物结构预测的 PepPCBench 概述。(来源:论文)

图片

图示:PepPCSet 的 (A) 肽链长度、(B) Rosetta 结合能和 (C) %ASA_i 分布。(来源:论文)

研究人员利用一个精心挑选的数据集 (PepPCSet),旨在提供一个标准化且强大的平台,从而评估当前 PFNN 在处理蛋白质-肽相互作用所固有的结构复杂性和灵活性方面的能力和局限性。

评估结果表明,AF3 在对接精度和结构效度方面优于同类算法(AFM、RFAA、Chai-1 和 HF3)。它在模型排序和置信度评估方面也表现出色,尤其是在使用 actifpTM 等更精细的置信度指标时,这些指标能够更好地解释柔性和无序区域。

图片

图示:AF3 与其他 PFNN 对接精度比较。(来源:论文)

虽然 AF3 总体上表现出色,其性能也暴露出一些问题。

研究人员分析证实,AF3 存在结构记忆问题,其在肽复合物上的表现与训练期间观察到的类似。在将训练集与测试集和核心集进行比较时,DockQ 得分的显著下降凸显了在结构新颖的复合物上评估模型的重要性。

此外,中等长度(10-20 个残基)且构象偏移适中的肽段仍然尤其具有挑战性,这表明 AF3 的训练和当前数据覆盖范围都存在盲点。虽然增强采样提高了理论上的成功率,但当前评分函数的有效性有限,阻碍了实际预测性能的提升。

除了对接指标外,研究人员还使用 MolProbity 和 Clash Score 验证了结构质量,发现 AF3 生成的模型不仅几何结构合理,而且与原始 PDB 结构非常接近。这种结构保真度为下游功能预测(例如虚拟筛选)奠定了坚实的基础。

图片

图示:AF3 在筛选 MHC-II 系统高亲和力肽结合剂方面的案例研究。(来源:论文)

研究人员在论文里表示:「事实上,我们针对 MHC-II 系统的案例研究证明了 AF3 在实际应用中的广阔潜力。通过实验测量结合亲和力,我们观察到 AF3 的结构预测——结合 actifpTM 和 Rosetta 结合能等强大的评分函数——能够可靠地对肽结合物进行排序并恢复高亲和力配体。然而,排序性能因所使用的评分函数而异,这再次强调了将结构预测与可靠的事后评估相结合的重要性。」

总而言之,PepPCBench 提供了一个严格、多样且可重复的基准,用于评估基于 PFNN 的蛋白质-肽复合物预测,从而满足了该领域的一项关键需求。

通过对五种最新模型(AF3、AFM、RFAA、Chai-1 和 HF3)的评估,他们发现了这些模型的主要优势和局限性,尤其是 AF3 模型,凸显了其在基于结构的肽设计方面的潜力,同时也揭示了有待改进的领域。

这些评估结果说明了方法透明性、数据集独立性以及整合互补验证策略在未来模型开发中的重要性。

PepPCBench 在奠定坚实基础的同时,也指明了清晰的改进方向——例如整合更多样化的蛋白质家族、翻译后修饰和环肽,以提高基准的通用性。

「我们相信,PepPCBench 将成为方法开发者和实验生物学家的宝贵资源,通过更可靠的结构预测加速下一代肽疗法的进展。」研究人员在论文的讨论部分表示。

论文链接:https://www.biorxiv.org/content/10.1101/2025.04.08.647699v1