目录

1.背景介绍

2.PySpark环境

3.问题描述

4.原因分析


1.背景介绍

机器学习平台底层基于大数据平台提供计算资源,在机器学习平台上主要使用 Spark MLlib 实现了共 7 类(源/目标、统计分析、数据预处理、特征工程、机器学习、工具、文本分析) 90+ 个组件(每个组件代表内置的逻辑片段),目的是减少用户重复开发工作、降低机器学习门槛。

 

2.PySpark环境

 

工具类组件中有【PySpark组件】,底层使用在虚拟机上通过 Anaconda 创建的虚拟环境作为每个组件实例具体执行环境。

 

3.问题描述

 

在使用 Keras(Tensorflow)中基于神经网络的降维方法 AutoEncoder 识别异常点时,出现如下错误:

 

4.原因分析

 

在虚拟机中使用 conda 命令安装 keras: "conda install -c conda-forge keras",如下图所示:

 

Keras 版本 Tensorflow 版本的对应关系(https://docs.floydhub.com/guides/environments/)如下图所示:

 

故可以使用命令 "conda install -c conda-forge keras=2.2.0" 安装指定版本的 keras。

 

 

 

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐