自动化是机器学习的未来吗

是AutoML机器学习的未来?

在脸书上分享
在twitter上分享
在linkedin上分享
分享whatsapp

当今的组织使用机器学习(ML)解决方案解决各种各样的问题。ML模型已经成为组织和消费者日常活动中不可分割的一部分。我们面临着对改进模型不断解决新问题的需求不断增长,对旧模型重新校准以新的方式解决旧问题。我们发现自己需要一种工具,使构建和部署机器学习模型更快,用最少的努力。

Auto ML:加速模型构建和部署

自动化的机器学习(自动ML)是一个区域,旨在实现自动化(部分)构建和使用机器学习管道,以加速机器学习模型的构建和部署。这种自动化使更广泛的受众能够有效和负责任地使用机器学习。今天的AutoML工具可以自动构建各种各样的ML模型,例如回归、分类、时间序列、文本分析和神经网络。

大多数AutoML工具通过分析数据和根据分析选择算法,然后根据选择的算法拟合和调整模型来实现自动化。

下载“AutoML:机器学习的未来”信息图在这里.

AutoML在数据科学中的作用

让我们首先了解AutoML工具在机器学习或数据科学项目中的作用。一个典型的数据科学项目经历了多个开发阶段,从问题识别和业务的理解,以模型的开发和部署.一些中间步骤需要更多的人为干预,并比其他人的决策。自动ML试图在机器学习模型的开发和部署多级自动化。有几个步骤,即自动ML能自动化包括:

  • 数据预处理:此过程包括提高数据质量和结构化的原始数据转换成结构化格式中包含的数据清理,数据集成,数据转换,和数据还原法。
  • 特点工程:AutoML可以自动完成这一方法通过分析输入数据,以创建与机器学习算法更兼容的功能。
  • 特征提取:该过程包括组合不同的特征或数据集,以生成新的特征,从而实现更准确的结果并减少处理的数据量。
  • 功能选择:AutoML可以自动选择用于处理唯一有用的功能的任务。
  • 算法选择及超参数优化:AutoML工具可以选择最佳的超参数和算法,而无需人的干预。
  • 模型的部署和监控:AutoML工具可以部署使用框架开发的模型,并使用解决方案中可用的仪表板监视模型的衰减。

关键球员

有三种主要类型的Auto-ML解决方案提供商:

  1. 开源:AI/ML是一个科学领域,即使是科技巨头,也会发表他们的研究成果,尽管企业进行了大量投资。这些现成的发现为开源解决方案铺平了道路。
  2. 创业公司:鉴于机器学习模型的不断增长的需求。许多创业公司都推出来捕捉这个机会。这些初创公司正在努力实现创造新AutoML工具,这将使更快的上市时间为机器学习模型,机器学习模型,这种需求。
  3. 科技巨头:谷歌自称是“AI-第一”的公司,推出了谷歌可能会AutoML作为第一AutoML工具之一,由巨人高科技。IBM的SPSS建模器还提供各种AutoML工具。

在这个利基领域,一些关键的解决方案是:

解决方案名称 类别 URL更多信息
启动 https://www.h2o.ai/
皮卡雷特 开源 https://pycaret.org/
TPOT 开源 http://automl.info/tpot/
自动学习 开源 https://www.automl.org/automl/auto-sklearn/
Auto-Weka 开源 https://www.automl.org/automl/autoweka/
Neuraxle 启动 https://www.neuraxle.org/
自动六ML 开源 https://github.com/AutoViML
汽车凯拉斯 启动 http://autokeras.com/
ML盒 启动 https://mlbox.readthedocs.io/en/latest/
谷歌云AutoML 科技巨头 https://cloud.google.com/automl

鉴于广大可用AutoML工具,具有一组AutoML工具支持的标准测试和KPI可能会在制造上得分用户更方便地决定哪些解决方案能够满足他们的要求和限制。

的实验比较AutoML和经典机型ML

选择一个示例数据集,其中包含两个不同类的数据点。该实验旨在建立一个机器学习模型,将两个类中的一个新条目分类,最好是正确的。

我们建立了采用两种不同的方法机器学习模型:

  • AutoML
  • 古典ML

我们将使用下面的关键绩效指标来比较AutoML和古典ML车型:

  • 优化结果
  • 易用性
  • 完整的自动化
  • 时间复杂性
  • 计算复杂性

这个过程

我们将使用在构建模型时收集的观察结果和模型的质量来比较AutoML和经典ML。

选择这个实验的AutoML工具有:

  • H2O -H2O与水的流动捆绑在一起,使模型管道的构建、选择和监控在一个共同的界面上。它还具有广泛的集成和深度学习能力,使找到一个合适的模型是一件容易的工作。
  • PyCaret -PyCaret有类似功能的工程,集成方法和模型explainability功能特点,可以提高模型的拟合在迭代善良的军火库。

让我们看看为什么这两个AutoML工具适合我们的实验:

  1. 既PyCaret和H 2 O有一个广泛的用户群。
  2. PyCaret和H2O软件包经常更新,改进了可用功能并添加了新功能,使这些解决方案能够根据市场需求进行调整。
  3. 这些解决方案推广到多个机器学习问题的分类/回归并装有多种算法支持。
  4. 功能设计,提取,互动和选择技术的阵列可提供这些解决方案。
  5. 这两种解决方案都具有具有端到端管道创建功能的模型部署功能。
  6. PyCaret和H2O是云兼容的。

这两种解决方案具有广泛性,足以处理广泛的问题。频繁的更新和调整暗示了这些解决方案的使用寿命,使它们成为本实验的理想选择。

推论

图片3
图片4
图像5
图像6
图片7

AutoML和Classical ML能联合起来吗?

尽管AutoML需要更高的计算能力、内存和其他基础设施需求,但它仍然可以以当前的形式与经典的ML方法结合使用。

由于AutoML要求更高的计算能力和内存相比与传统的ML方法。数据集的较小样品可用于从AutoML工具导出必要的推论,从而降低了计算能力和存储器需求。这些推论然后可以直接用于建筑经典机型。

特征工程:AutoML工具,如PyCaret和H2O具有全面的功能的工程技术支持。这些工具可在使用一小片的代码的最小周期自动化的多个附加的特征的产生。那么这些功能可以用于构建使用传统的建模技术不错的选择机型。

算法选择:为问题陈述选择最佳算法是一个漫长的迭代过程。AutoML工具可以根据选定的KPI快速确定适合问题的最佳算法。AutoML尝试最小化或最大化所选KPI,同时迭代适用于问题陈述的多个算法,从而能够使用非常小的代码在非常短的时间内为问题陈述选择最适合的算法。

然后可以使用所选择的算法,使用经典的ML方法获得一个良好的拟合模型。

良好拟合模型:经典的ML方法提供了许多技术来调整模型并收敛到最佳拟合模型。调整模型是一个漫长的迭代过程。

AutoML工具可用于根据所选KPI优化模型,并在最小化或最大化所选KPI的同时自动化模型优化过程。AutoML可以使用简单的代码在短时间内生成一个良好的拟合模型。

这种良好的拟合模型的超参数可以很容易地迁移到适合古典的机器学习模型。

目前的情况

图片8
  1. 利率市场化

一个谷歌趋势结果展示了自2004年以来带有“automl”一词的网络搜索量

随时间变化的兴趣:数字表示相对于给定区域和时间的图表最高点的搜索兴趣。值100是该术语的最受欢迎程度。值为50表示该术语的流行程度为50的一半。分数为0表示本学期没有足够的数据。

图像来源:谷歌趋势

随着AutoML逐渐为人们所重视,AutoML市场有2019年创收2.7亿美元. 预计会到2030年达到亿$ 14512,在预测期内(2020-2030年),年复合增长率为43.7%。数据显示,AutoML还没有达到顶峰,人们对AutoML的兴趣将继续增长。

  • 市场采用

由于以下原因,AutoML尚未进入不同的市场:

  • 其他基础设施选择的可用性
  • 缺乏组织的需求,因为他们的需求和问题还不需要这种方法。

据进行的一项调查automl.org相比于非高科技公司和政府机构,研究实验室和高科技公司都在采用AutoML实践的领先一步。

本次调查的结果指出,

“虽然各大洲的总体AutoML采用情况相似,但非营利性组织和低技术组织在欧洲的采用情况要高于北美。我们还发现,具有多年经验的团队更有可能采用AutoML技术。最后,总体而言,AutoML的应用还有很大的提升空间,但对于非技术公司和政府组织来说尤其如此。”

图像9
图像9

AutoML将继续存在并不断发展。

如果有策略地使用AutoML,它可以成为数据科学从业者手中的有力工具。AutoML在一个简单的命令尖端提供的统计工具,一个庞大的武器库。存取和实现这种技术没有AutoML将需要大量的人工时间和精力。AutoML能够使用多种统计技术和能够收敛到一个很好的拟合模型algometrically。

理解问题陈述和业务上下文的数据科学从业者可以使用AutoML工具来实现自己的利益。他可以在很短的时间内用较少的代码行访问多种统计技术以及算法优化,从而快速找到正确的解决方案。

鉴于人们对AutoML的兴趣和讨论不断增加,以及早期市场的采用,AutoML显示出改变机器学习格局的巨大潜力。

请与我们联系或邮寄给我们在marketing@latentview.com要知道AutoML如何应用价值添加到您的业务。