登录 | 注册 | English

资讯中心

yzc88网页版登录  >  资讯中心  >  产品动态

车联网解决方案(二)-远程运营中心大数据平台解决方案

远程运营中心大数据平台解决方案

        恒润远程运营中心大数据平台(后称‘大数据平台’)的架构规划见下图。系统共分为五层:数据接入层、数据预处理层、数据存储层、数据分析层、应用系统层。该架构的主要优势是大数据框架技术、SOA 架构设计、高并发、安全与平台管理等。

 

•  数据接入层

        针对实时上传的车辆总线数据,大数据平台提供了基于Java NIO 技术(Netty),支撑高并发TCP 连接的通讯数据网关;

        针对百万并发海量消息实时接入,恒润提供IBM 企业的高性能MessageSight 消息网关。

        针对实时视频流数据,系统提供独立的视频流网关可以接收RTSP(EasyDrawin)/RTMP(Red5)或基于UDP/TCP 协议的视频数据流。针对存放在关系型数据库中的历史数据,大数据平台提供了面向关系型数据库与分布式文件系统(Hadoop)的ETL 工具(Sqoop)。针对离线数据文件或视频文件,系统提供了基于HTTP 协议的文件上传应用功能(Plupload),应支撑在应用层进行操作。

 数据预处理层

        针对车辆数据,为确保高并发上传的实时数据能够被及时解析。数据网关后接分布式消息队列,即可通过添加服务器的模式横向动态扩充队列吞吐量。海量数据实时预处理采用分布式的流式数据处理工具(Apache Storm)或IBM 企业商业AppInfosphere Streams,可将协议解析、解压缩、解密、数据流解析等数据处理流程进行分解,并通过增加并发量等手段近实时的得到所有信号物理量。也可根据实际业务需求对数据解析追加去重、标准化、降噪、筛选、清洗等业务相关操作。

        针对视频数据,视频网关将视频文件中继至内网,系统使用一个流媒体服务器(Red5)进行统一视频编解码与格式转换,并将视频文件或视频流根据浏览器端播放器支撑的协议进行推送。同时提供了根据某一时间戳,对其前后一段时间的视频片段进行切割的功能(ffmpeg),这样可以仅对此片段进行视频流播放以期尽量降低带宽。

•  数据存储层

        针对车辆数据,恒润大数据平台提供先进的分布式大数据框架Hadoop。经过近10 年的发展,Hadoop 已经成为大数据领域的一个标准并形成了一个完整的App生态圈。本系统中的车辆总线数据具有一次写入多次读取的特征,适合用hadoop生态圈中的Hbase nosql 数据库进行存储。该数据库继承了Hadoop 分布式易于扩容的特点,并通过LSM 数据结构做到了快速的数据读写平衡。

        针对视频数据,由于可能需要对源文件进行转码或切割的操作,视频数据并不适合用hadoop 存储。因为Hadoop 会对视频文件进行切割并将不同数据块存储于不同的数据节点,而当需要对视频文件进行任何操作时,都需要先从各个节点将视频文件进行恢复再操作。另外,由于视频文件往往比较大,Hadoop 的高可用3 备份方案会造成较大的空间浪费。对于视频文件的存储方案,本系统选用视频流媒体服务器所在服务器的文件系统。

        针对元数据与应用数据,应用相关数据结构化较强且增长速度较慢,本系统选用关系型数据库与文件系统结合的方案进行存储。

•  数据分析层

        大数据平台提供如下数据分析工具,以便在应用层协助完成用户的业务需求:

    ♦  基于Hbase 原生API 的简单数据统计与检索

    ♦  SQL on Hadoop/Hbase

    ♦  集成机器学习/ 统计学算法的工具

    ♦  基于流式数据处理的实时数据处理

•  应用系统层

        应用系统采用B/S 架构,即用户可随时随地通过浏览器对系统进行访问与操作。系统使用SpringMVC 与Hibernate框架进行开发,并在前台应用KendoUI、Echarts、高德地图等Javascript 库。

        应用系统采用模块化设计,使用ESB 技术有利于保证系统的可扩展性并兼顾多团队协同开发的情况。恒润大数据平台采用IBM 企业的IIB 商业解决方案,不对建设在其上的应用系统附加限制,如开发平台、语言、通讯协议等。

•  平台管理

        大数据平台的Hadoop 版本选用的是Cloudera 的CDH5。Cloudera 是规模很大、知名度很高的Hadoop 解决方案服务商之一。CDH5 封装了大量Hadoop 生态圈中的工具如Zookeeper、HDFS、YARN、Hbase、Spark 等。整体平台的管理则依托于Cloudera Manager,允许管理员通过web 的方式对Hadoop 集群进行监控与管理。

•  系统安全

        系统安全的保障则是通过以下四个手段进行保障:

    ♦  数据加密

        车辆总线端口(报文)数据经过通讯协议、加密、压缩等封装后,需在内网经过层层解析才能被解析为信号物理量。

    ♦  IT部署方式

        由于车载设备是通过数据网关与视频网关与大数据平台进行交互,因此网关需要提供公网IP。这意味着网关是部署在企业的DMZ区,大数据平台可确保数据的解析与处理均发生在企业内网。

    ♦  Hadoop自带安全机制

        大数据平台可通过Cloudera Manager与企业LDAP集成并配置使用Hadoop/Hbase提供的KMS、Kerberos等安全审计机制确保数据的安全。

    ♦  应用系统权限控制

        应用系统采用基于角色的权限控制(RBAC)对系统功能菜单进行权限分配。并提供资产管理对车型、车辆、车载终端设备等资产进行细颗粒度权限控制。

关于恒润
企业概况
企业理念
企业资质
资讯中心
恒润在全球
诚聘英才
校园招聘
实习生招聘
社会招聘
走进恒润
常见问题
市场活动
在线研讨会
线下活动
微信课堂
用户社区
资料下载
恒润月刊
用户留言
个人中心
相关链接
达索企业
IBM-中国
联系大家
电话:010-64840808
邮箱:market_dept@hirain.com
版权所有 ? yzc88网页版登录 京ICP备18000642号-1 京公网安备11010802017344号 网站地图 | 招聘信息 | 法律声明 | 隐私保护
XML 地图 | Sitemap 地图