一、效率提升
大幅提升动态图下分布式训练的效率在深度进修中，当数据集和参数量的规模越来越大，训练所需的时间和硬件资源会随之增加，最后会变成制约训练的瓶颈。分布式并行训练，可以降低对内存、算计性能等硬件的需求，是举行训练的重要优化手段。当前 MindSpore 动态图模式已经支持数据并行，通过对数据按 batch 维度举行切分，将数据分配到各个算计单元中举行模型训练，从而缩短训练时间。鉴于 ResNet50 v1.5+ImageNet 数据集测试，在昇腾算计硬件平台，MindSpore 动态图模式分布式的表现，可以达到 PyTorch 典型分布式场景的 1.6 倍， 静态图模式分布式的表现也可以达到 TensorFlow 典型分布式场景的 2 倍。PyNative 快速入门：https://www.mindspore.cn/tutorial/training/zh-CN/r1.2/advanced_use/debug_in_pynative_mode.html数据预处理加速 Dvpp数据是机械进修的基础。在网络推理场景中，我们需要针对不同的数据举行数据的预处理，从中过滤出核心信息放入我们训练好的模型中举行推理预测。在实际应用场景中，我们往往需要对大量的原始数据举行推理，比如实时的视频流等。因此，我们在昇腾推理平台引入了 Dvpp 模块，来针对网络推理数据预处理流程举行加速。Dvpp 数据预处理模块提供 C++ 接口，提供图片的解码、缩放，中心抠图、标准化等功能。在 Dvpp 模块的设计中，考虑到整体的易用性，其功能与 MindData 现有 CPU 算子有重叠，我们将其 API 统一，通过推理执行接口设置运行设备来举行区分。用户可以根据自身硬件设备环境来选择最佳的执行算子。Dvpp 数据预处理流程如下图所示：
我们在一台昇腾推理服务器上测试了 Dvpp 系列算子的性能收益。该服务器拥有 128 个主频为 2.6GHz 的 CPU 核心，以及 128Gb 的内存空间。在实验中，我们选取 yoloV3 网络，同时选取 coco2017 推理数据集 40504 张图片举行推理，最终得到模型输入尺寸为 [416, 416] 的图片。我们分别使用 Dvpp 算子和 CPU 算子举行数据预处理，得到如下性能对比：
可以看到 Dvpp 系列算子相较于 CPU 算子在处理大量数据时性能优势明显，在本实验中处理 40504 张图片性能 FPS 提升 129%。查看教程：https://www.mindspore.cn/tutorial/inference/zh-CN/r1.2/multi_platform_inference_ascend_310_mindir.html#ascend-310二、创新性份子模仿库（SPONGE），来自社区份子动力学工作组MindSpore 版的 SPONGE 是在社区中的份子动力学工作组 (MM WG) 中，由北大、深圳湾实验室高毅勤课题组与华为 MindSpore 团队联合开发的份子模仿库，具有高性能、模块化等特性。
为何需要开发 SPONGE？
份子动力学模仿是用牛顿定律近似来描述微观原子和份子尺度演化的算计机模仿法子。其既可用于基础科学研究也可用于工业实际应用。在基础科学领域，份子动力学法子有助于科研学者从微观研究体系的物理化学性质。在工业生产中，其可以利用大规模算计的能力辅助药物份子的设计和蛋白靶点的搜寻 [1,2]。由于模仿的时间和空间尺度限制，传统份子动力学软件的应用范围受到较大限制。科研工作者也在不断的开发新的力场模型[3,4]、抽样法子[5,6] 以及尝试结合新兴的人工智能 [7,8] 来进一步拓展份子动力学模仿的适用领域。由此，新一代的份子动力学软件就需要被提上日程。其应该具有模块化的特性，能够支持科学家高效的创造和搭建出能够验证其理论模型的结构。同时，它还需要兼顾传统模仿法子的高效性，能够兼容其在传统领域上的使用。此外，为实现份子模仿 + 机械进修的自然融合，其还应该拥有嵌入人工智能框架的形态。SPONGE 就是鉴于这些理念而被创造出的全新的，完全自主的份子模仿软件。相比于之前在传统份子模仿软件上结合 SITS 法子举行生物份子增强抽样[9]，SPONGE 原生支持 SITS 并对算计流程举行优化使得其使用 SITS 法子模仿生物体系更加高效。针对极化体系，传统份子模仿采用结合量化算计等方式来解决电荷浮动等问题[10]。即使采用机械进修降低算计量也会浪费大量时间在程序数据传送的问题上。而 SPONGE 利用模块化的特点可支持内存上直接与机械进修程序通信大大降低了整体算计时间。
图 1：结合 SITS 等法子可举行 Na[CpG], Lys 生物份子模仿
图 2：机械进修 + 份子模仿法子可更快更准确地模仿极化体系，图为[C1MIm]Cl 离子液体模仿
MindSpore + SPONGE
鉴于 MindSpore 自动并行、图算融合等特性，SPONGE 可高效地完成传统份子模仿过程。SPONGE 利用 MindSpore 自动微分的特性，可以将神经网络等 AI 法子与传统份子模仿举行结合。
SPONGE 模块化设计结构图随 MindSpore1.2 版本开源的 SPONGE 具备以下优势：1、全模块化份子模仿。模块化构建份子模仿算法，易于领域研发人员举行理论和算法的快速实现，并为外部开发人员贡献子模块提供友好的开源社区环境。2、传统份子模仿与 MindSpore 结合的人工智能算法的全流程实现。在 MindSpore 中，研发人员能便利的将 AI 法子作用于份子模仿中。全算子化的 SPONGE 将与 MindSpore 进一步结合成为新一代端到端可微的份子模仿软件，实现人工智能与份子模仿的自然融合。教程文档：https://www.mindspore.cn/tutorial/training/zh-CN/r1.2/advanced_use/hpc_sponge.html
MindSpore+SPONGE 展望
近期展望：在后续的版本更新中会陆续加入已经理论验证好的 MetaITS 模块、有限元算计模块等功能。这些模块将帮助 SPONGE 能更好的从事相变和金属表面相关的模仿。同时，MindSpore 版 SPONGE 各模块逐步支持自动微分和自动并行，对于衔接机械进修方案提供更友好的支持。远期展望：拓展 SPONGE 的各种特色模块，使其能够描述大部分微观体系并同时具有较高的算计和采样效率。对特定工业需求，如药物筛选或晶型预测，将鉴于 SPONGE 衍生出完整的流程化算计方案，能够满足大规模并行算计的需求。在 MindSpore 框架下，SPONGE 具有元优化功能，从而实现更准确和更快的力场拟合。量子机械进修（MindQuantum），来自社区量子力学工作组MindQuantum 是结合 MindSpore 和 HiQ 开发的量子机械进修框架，支持多种量子神经网络的训练和推理。得益于华为 HiQ 团队的量子算计模仿器和 MindSpore 高性能自动微分能力，MindQuantum 能够高效处理量子机械进修、量子化学模仿和量子优化等问题，性能达到业界 TOP1(Benchmark)，为广大的科研人员、老师和学生提供了快速设计和验证量子机械进修算法的高效平台。
MindQuantum vs TF Quantum/Paddle Quantum 性能对比
查看教程：https://www.mindspore.cn/tutorial/training/zh-CN/r1.2/advanced_use/parameterized_quantum_circuit.html多跳知识推理问答（TPRR）TPRR 是华为泊松实验室与华为 MindSpore 团队提出的解决开放域多跳问题的通用模型。相比于传统问答仅需从单个文档中检索答案，多跳知识推理问答需要从多个佐证文档得到最终答案，并返回问题到答案的推理链。TPRR 鉴于 MindSpore 混合精度特性，可以高效地完成多跳问答推理过程。
全路径建模：
TPRR 模型在多跳问题推理链的每一个环节中鉴于全部推理路径的条件概率建模，模型以 「全局视角」 举行知识推理。
动态样本选取：
TPRR 模型采用动态样本的建模方式，通过更强的对比进修提升模型多跳问答的能力。算法流程图如下：
TPRR 模型在国际权威的多跳问答榜单 HotpotQA 评测中荣登榜首，榜单图如下：
查看教程：https://www.mindspore.cn/tutorial/inference/zh-CN/r1.2/nlp_tprr.html三、易用性一键模型转嫁（MindConverter）脚本转嫁工具（MindConverter）旨在帮助算法工程师将存量的鉴于三方框架开发的模型快速转嫁至 MindSpore 生态。根据用户提供的 TensorFlow PB 或 ONNX 模型文件，工具通过对模型的算计图（Computational Graph）解析，生成一份具备可读性的 MindSpore Python 模型定义脚本（.py）以及相应的模型权重（.ckpt）。
一键转嫁：
通过 MindConverter CLI 命令即可一键将模型转嫁为 MindSpore 下模型定义脚本以及相应权重文件，省去模型重训以及模型定义脚本开发时间；
100% 转嫁率：
在 MindConverter 具备跨框架间算子映射的情况下，转嫁后脚本可直接用于推理，实现 100% 转嫁率；
支持模型列表：
目前工具已支持算计机视觉领域典型模型、自然语言处理 BERT 预训练模型脚本及权重的转嫁，详细模型列表见 README。BERT 模型定义转嫁结果展示（部分代码）：
查看教程：https://www.mindspore.cn/tutorial/training/zh-CN/r1.2/advanced_use/migrate_3rd_scripts_mindconverter.html?highlight=mindconverter四、可靠性鲁棒性评测工具助力 OCR 服务达成首个 AI C4 鲁棒性标准要求MindSpore 鲁棒性测试工具 MindArmour，鉴于黑白盒对抗样本（20 + 法子）、自然扰动（10 + 法子）等技术提供高效的鲁棒性评测方案，帮助客户评估模型的鲁棒性性，识别模型脆弱点。OCR 是指利用光学设备去捕获图像并识别文字，减少人工成本，快速提升工作效率；如果攻击者通过对待识别的文字做出人眼不易察觉的修改，而模型无法对其正确识别或处理，就会导致 OCR 服务对文字识别的准确率下降，且使用人员不清楚问题背后的原因。测评团队使用 MindArmour 对 OCR 服务的鲁棒性举行测评，发现 OCR 服务中部分模型对自然扰动和对抗样本的防御能力较差，如文本框检测模型在校验噪声、PGD、PSO（粒子群）等攻击算法下准确率小于 66%；并以此指导模型开发团队通过对抗样本检测、数据增强训练等技术，使得模型对恶意样本的识别准确率达到 95+%，提高了模型及 OCR 服务的鲁棒性。
AI C4 标准链接：https://www.bsi.bund.de/SharedDocs/Downloads/EN/BSI/CloudComputing/AIC4/AI-Cloud-Service-Compliance-Criteria-Catalogue_AIC4.html五、更多值得期待其实 MindSpore 即将带来的大量新特性，不止于文中所展示的举例，比如超大规模参数模型、可解释 AI、MindSpore IoT 支持等更加前卫的特性，将在 4 月底的华为开发者大会 2021（Cloud）大会亮相，而社区也会在近期发布一款新的开源工具集，敬请关注！开源一周年的 MindSpore 社区，将为大家带来源源不断的惊喜！参考文献：[1] De Vivo M, Masetti M, Bottegoni G, et al. Role of molecular dynamics and related methods in drug discovery[J]. Journal of medicinal chemistry, 2016, 59(9): 4035-4061.[2] Liu X, Shi D, Zhou S, et al. Molecular dynamics simulations and novel drug discovery[J]. Expert opinion on drug discovery, 2018, 13(1): 23-37.[3] Robustelli P, Piana S, Shaw D E. Developing a molecular dynamics force field for both folded and disordered protein states[J]. Proceedings of the National Academy of Sciences, 2018, 115(21): E4758-E4766.4. Nerenberg P S, Head-Gordon T. New developments in force fields for biomolecular simulations[J]. Current opinion in structural biology, 2018, 49: 129-138.[5] Yang Y I, Shao Q, Zhang J, et al. Enhanced sampling in molecular dynamics[J]. The Journal of chemical physics, 2019, 151(7): 070902.[6] Bernardi R C, Melo M C R, Schulten K. Enhanced sampling techniques in molecular dynamics simulations of biological systems[J]. Biochimica et Biophysica Acta (BBA)-General Subjects, 2015, 1850(5): 872-877.[7] Wang H, Zhang L, Han J, et al. DeePMD-kit: A deep learning package for many-body potential energy representation and molecular dynamics[J]. Computer Physics Communications, 2018, 228: 178-184.[8] Ribeiro J M L, Bravo P, Wang Y, et al. Reweighted autoencoded variational Bayes for enhanced sampling (RAVE)[J]. The Journal of chemical physics, 2018, 149(7): 072301.[9] Yang L, Qin Gao Y. A selective integrated tempering method[J]. The Journal of chemical physics, 2009, 131(21): 12B606.[10] Kan Z, Zhu Q, Yang L, et al. Polarization effects on the cellulose dissolution in ionic liquids: Molecular dynamics simulations with polarization model and integrated tempering enhanced sampling method[J]. The Journal of Physical Chemistry B, 2017, 121(17): 4319-4332.MindSpore官方资料GitHub : https://github.com/mindspore-ai/mindsporeGitee:https : //gitee.com/mindspore/mindspore官方QQ群 : 871543426
