工程大数据解决方案——数据分析平台

hirain

       随着大数据时代来临、无人驾驶和车联网的快速发展，汽车研发部门需要处理的数据量激增、数据类型不断扩展。相关数据涵盖车内高频CAN数据和车外ADAS视频非结构化数据、位置地理空间数据、车辆运营数据、用户CRM数据、WEB数据、APP数据、和MES数据等。

        在此背景下，整车厂研发部门关心的是：如何将企业内部的研发、实验、测试、生产数据，社会用户的用车数据，互联网第三方数据等结合起来，将异构数据和同构数据整合到一起，并在此基础上，实现业务系统、分析系统和服务系统的一体化；怎样利用深度的驾驶员行为感知、智能的车辆预防性维护、与实时的环境状态交互，通过大数据与机器学习技术，建立面向业务服务与产品持续优化的车联网智能分析；最终利用数据来为产品研发、生产、销售、售后提供精准的智能决策支撑。这些都是整车厂在大数据时代下亟待解决的问题。

        针对这一需求，恒润科技探索出以EXCEEDDATA大数据分析平台为核心的汽车工程大数据整体解决方案。借助EXCEEDDATA大数据分析平台，企业可以集成、处理、分析、以及可视化海量级别的数据，可实现对原始数据的高效利用，并将原始数据转化成产品所需的智能，从而改进业务流程、实现智慧决策的产业升级。

先进的技术架构

        EXCEEDDATA采用分布式架构、包含集成处理（ETL）与分析挖掘两大产品功能体系，共支持超过20多个企业常见传统数据库和大数据源系统，超过50多个分析处理算法、以及超过丰富的可视化智能展现库。用户可以自主的、灵活的将各种来源的原始数据与分析处理串联应用，建立科学的数据模型，得出预测结果并配以互动的可视化智能，快速高效的将大数据智能实现至业务应用中。

        平台包括分布式大数据分析引擎、智能终端展示、以及API。大数据分析引擎为MPP 架构，建立在开源的Apache Hadoop与Apache Spark之上，可简易的scale-out扩展。在分析引擎的基础上包含数据源库、数据转换匹配器、数据处理操作库、机器学习算法库、可视化图形库等子模块。智能终端展示为行业通用的B/S架构，用户通过支持跨操作系统和浏览器的HTML5/JS界面与API来与平台互动。

广泛的数据类型和存储格式支持能力

        EXCEEDDATA平台支持数值、字符、时间、向量、列表等17种数据类型，还可支持多种Hadoop数据存储格式，如HDFS的文件存储格式和Hive的表存储格式。为数据分析人员节省大量的数据格式转换和文件系统转移的准备时间。分析员可快速的从既有数据源中灵活的获取数据，尽快开展数据分析任务。

丰富的算法模块和直观的编程环境

        EXCEEDDATA平台提供丰富的机器学习算法，共六大类函数对数据进行汇总、分析、分类或聚类，并配以灵活的算法流程引擎和可拉动式界面。业务人员可轻松地选择和组合多个数据源和算法模块，快速构建分析流程，对业务进行综合分析。

机器学习算法包

网络分析类型：Graph Analytics
推荐引擎类型：Recommendation Engine
时间路径类别：Time & Path
聚类分析类别：Cluster Analytics
决策树分析类型：Decision Tree
朴素贝叶斯分析类型：Nai've Bayes
统计分析类别：Statistical Analysis

多维度大数据的分析与预测算法包

行为网络算法, 包括图谱统计、最短路径等
中英文语言分析算法,包括TF-IDF、Word2Vec等
地理分析算法
分类挖掘： 逻辑回归、向量机、朴素贝叶斯、决策树、梯度提升决策树、随机森林
回归预测：线性回归、岭回归、套索回归、保序回归
聚类： KMeans 、高斯混合模型
关联推荐：Apriori、FPGrowth、Alternate Least Squares（协同过滤）
时间路径：sessionize、去重、分区、路径（遍历、顺序、起始点）
网络地理：最短路径、方块分区索引、异状边际定位
统计处理：直方分布、密度分布、 聚合、排序、过滤等

丰富的数据呈现方式

        EXCEEDDATA平台提供丰富的数据智能展现，包括折线图、柱状图、饼图、散点图、多拿图、堆叠图、平行坐标图等30多种图示方式。可帮助业务人员进行多视图、多层次的分析，挖掘出数据深层次的商业价值，快速发现数据背后的规律。