微软MVP精选 | 使用Azure AI和Unity构建用于检测病毒

小提示：您能找到这篇{微软MVP精选 | 使用Azure AI和Unity构建用于检测病毒}绝对不是偶然，我们能帮您找到潜在客户，解决您的困扰。如果您对本页介绍的微软MVP精选 | 使用Azure AI和Unity构建用于检测病毒内容感兴趣，有相关需求意向欢迎拨打我们的服务热线，或留言咨询，我们将第一时间联系您！

< font-size: 16px;">01、为什么要用AI检测病毒性肺炎、细菌性肺炎？

< font-size: 16px;">世界各地的医务人员在对抗2020年的COVID-19大流行的斗争中表现出了勇敢和韧性，甚至有的人在履行职责时牺牲了自己的生命。作为一个普通人，作为一个程序员，我也想提供力所能及的帮助。因此，使用AI辅助诊断诸如病毒性肺炎、细菌性肺炎等肺部疾病是一个让我有兴趣去尝试的想法。

< font-size: 16px;">我是Azure和Unity的倡导者，所以我的第一个想法是使用Azure和Unity来实现可用于肺部X光片的图像分类器。除了游戏行业外，Unity还可以在其他行业中发挥作用，因此我认为将Azure和Unity结合起来以创建一些有助于人们的功能是一个非常有趣的想法。

< font-size: 16px;">02、Azure认知服务

< font-size: 16px;">Azure是一个云计算平台，除此之外它还为开发人员提供了AI服务。Azure Cognitive Services是一整套全面的AI服务和认知API，可帮助开发者构建智能应用。

< font-size: 16px;">如上图所示，Azure认知服务包含许多不同类型的AI服务，例如决策服务、语言服务、语音服务、视觉服务和Web搜索服务。

< font-size: 16px;">在这里我们需要的是AI视觉服务。通过使用视觉服务，我们可以识别和分析图像、视频和数字墨水中的内容。为了训练我们自己的模型，我们可以选择视觉服务类别中的自定义视觉服务来自定义图像识别以满足我们的需求。

< font-size: 16px;">03、创建一个自定义视觉项目并提供数据集

< font-size: 16px;">Azure提供的自定义视觉服务为我们提供了一个用户友好的界面，用于开发和部署自定义计算机视觉模型。在下图中，你可以看到创建一个自定义计算机视觉模型的过程。

< font-size: 16px;">因此，我们需要创建一个自定义视觉项目并寻找一个合适的数据集来训练我们的模型。

< font-size: 16px;">如上图所示，我们首先需要创建一个新的项目，这里需要确定项目的名称，并且选择一个Azure Cognitive Services资源，如果没有可用的资源则需要创建一个新的。对于项目类型，有两个可用选项：分类和对象检测。针对我们的图像分类器项目，显然选择分类类型更加适合。

< font-size: 16px;">第二件事是寻找合适的数据集，这些图像将在以后用于训练我们的模型。针对我们的项目，我将使用来自Paul Mooney的数据集，你可以在此处找到原始文件。该数据集将5,863张X射线图像（JPEG）分为2大类（肺炎/正常），其中肺炎大类下又分为细菌性肺炎和病毒性肺炎。如下图所示。

< font-size: 16px;">04、训练模型

< font-size: 16px;">在自定义视觉项目中训练我们的计算机视觉模型非常容易。首先是选择合适的图像并设置对应的标签，之后将其上传到我们刚刚创建的项目中。在本文的案例中，我将使用三个标签分别对三组图像进行分类，分别为VIRUS PNEUMONIA，BACTERIA PNEUMONIA和NORMAL。

< font-size: 16px;">选择适当数量的图片来进行训练是一个好主意，因此我为每个标签选择了约70张图像进行训练。此处主要是为了演示功能，当然也可以上传更多的图片来训练模型。

< font-size: 16px;">然后，单击站点右上方的“训练”按钮，将弹出一个窗口供你选择训练类型。

< font-size: 16px;">我选择了高级训练类型，训练预算为12个小时。

< font-size: 16px;">训练结束后，我们可以在“效果”页面上查看结果。为了测试该模型，我们可以通过网站上的“快速测试”功能对其进行快速测试。

< font-size: 16px;">05、集成Azure和Unity

< font-size: 16px;">现在，我们获得了训练好的计算视觉模型和可基于标签对图像进行分类的API。

< font-size: 16px;">但是，我想将这个功能集成到Unity中。

< font-size: 16px;">幸运的是，Microsoft提供了C＃语言的Azure自定义视觉SDK。因此，我想将两者进行集成是可能的，甚至在Mac OS上运行它也是可能的。

< font-size: 16px;">从Unity 2018开始，我们获得了.net standard 2.0兼容性级别，这对于Nuget软件包而言应该是完美的。只需使用单独的VS项目下载软件包，然后获取DLL的netstandard20版本并将其放入我们的Unity项目中即可。为了方便大家开发类似的功能，我制作了一个相应的.unitypackage文件，其中包含了这些必需的dll，你可以从GitHub上下载。

< font-size: 16px;">https://github.com/chenjd/Unity.DetectPneumoniaWithAzure/r电商的运营方法eleases/tag/SDK

< font-size: 16px;">你可以在上图中看到我们在项目中需要使用的dll。

< font-size: 16px;">然后，我将在我们的Unity项目中开发C＃代码。

< font-size: 16px;">首先，我在Unity的Start方法中设置环境并创建CustomVisionPredictionClient的实例。如你在上面的代码中看到的，我们需要Custo网上营销策划方案m Vision资源的endpoint和key来在Unity中设置环境。

< font-size: 16px;">如下图所示，你可以在Custom Vision项目站点的设置窗口中找到它们。

< font-size: 16px;">如果设置不正确，将无法连接到正确的认知服务资源。

< font-size: 16px;">然后，我们可以调用CustomVisionPredictionClient的ClassifyImage方法对输入图像进行分类。

< font-size: 16px;">此处我们需要提供项目的ID，这个值也可以在我们的项目站点上找到，除此之外，还需要已经发布的ModelName（正在使用的模型的名称）。我们可以在项目网站的“效果”页面上找到此名称。需要提供的最后一个参数则是输入图像的数据。

< font-size: 16px;">为了将Unity上下文中的Texture纹理转换为所需的MemoryStream实例，我们调用Texture的EncodeToPNG方法将纹理转换为字节数组，然后创建相应的MemoryStream实例。

< font-size: 16px;">最后，让我们添加一些胸部X射线图像以测试这个Unity项目识别病毒性肺炎、细菌性肺炎的功能。

< font-size: 16px;">然后，你可以在下面的截图中看到，我们的Unity项目现在可以正确地对胸部X射线图像进行分类。

< font-size: 16px;">当然，这只是一个兴趣项目，不能代替专业的医疗建议、诊断或治疗。

< font-size: 16px;">你可以在此处找到Unity项目的GitHub存储库（不如何写软文推广产品包括Azure部分）：

< font-size: 16px;">https://github.com/chenjd/Unity.DetectPneumoniaWithAzure

< font-size: 16px;">注意：此方法仅作为辅助参考，不能代替专业的医疗建议、诊断或治疗。

< font-size: 16px;">感谢您的阅读，希望对您有所帮助。