https://epaper.shautonews.com/Img/2018/8/m20180818522bfce3e02d4b8f844b9a8ac4f6133b.jpg
为了打好数字化转型“攻坚仗”,上汽集团推出了一系列举措,上汽数据湖和舆情分析产品就是典型案例。这些数字化技术和产品究竟有
http://wap.shautonews.com/content/2018-08/19/005360.html

等待处理…

大数据时代,如何合理利用数据?

解读上汽数据湖及舆情分析产品

作者 孙桐桐
2018/8/18

为了打好数字化转型“攻坚仗”,上汽集团推出了一系列举措,上汽数据湖和舆情分析产品就是典型案例。这些数字化技术和产品究竟有哪些功能?又有哪些优势?为此,记者采访了上汽集团数据业务部副总经理刘峰。

问:什么是数据湖?

答:数据湖并不是一个纯粹的技术概念,我们使用数据湖这个名字作为产品的一个标识。实际上数据湖是数据管理的一种方法论,也就是说,在数据爆发的时代怎样合理利用数据的一种新方法。

数据湖由三块组成。第一部分是数据入湖,也就是我如何解决不同的数据源,包括传统IT系统的数据库、从互联网上获取的信息、车联网的数据、工业互联网的数据,当然还包括大家电脑中的文件。

当这些数据全部流入数据湖以后,就是数据清洗和治理的工作,设置相应的“滤水器”设备把不干净的数据进行过滤。数据不需要在每一个系统中再去单独清洗,而是从统一全局的概念上去看数据标准是否一致。

然后,我们利用了容器技术和存储计算分离的方式,让数据出湖这段变得更加有差异化,可以发挥所有业务部门和数据科学家的想象去开发应用。

问:上汽数据湖有哪些优势?

答:优势还是比较明显的。因为我们是以整个汽车行业为基础,在过程当中,我们碰到了各种各样在制造业和汽车业中都会碰到的问题。比如说,不同的数据库类型和版本、不同的数据源、不同的数据类型、不同的数据存取方式等。这些问题在软件或者其他行业里面很难碰到。把这些问题全部解决了,自然而然地,一个个优势就会发挥出来。

我们还提出一个沙盒概念。 容器技术除了可以实现存储和计算的分离,使同一份数据延伸出更多的应用外,还可以将算法、分析工具打包。当a公司有一个很好的应用时,我们可以把它打包成一个算法应用,或者数据应用,可以共享给大家,甚至未来可以做交易。

我们现在已经在专利和著作权上有了很大的突破。也就是说,在未来,如果其他一些软件企业也想做类似产品的话,它们必须突破我们的专利壁垒。同时,我们也会将一些模块的代码开源,希望可以在此基础上建立技术联盟。

我们的数据湖产品在建设成本方面也具有明显的优势。据统计,软件厂商每TB的数据量最便宜的也要花费10万元。如果使用数据湖产品,大概只要2500元。算上之前的部署成本和后期的维护成本,如果用数据湖来取代传统的大数据分析系统,至少可以节省70%的建设成本,而且数据量越大,其降本增效的优势会越明显。

问:上汽舆情分析产品能解决市场上哪些痛点?有哪些优势?

答:我们从数据业务部建立之初,就有一个人工智能团队。除了物流方面,重点的一块内容就是未来可能在汽车行业会被广泛应用的智能语言分析。舆情分析产品是这个算法的一个落地项目。

首先,我们解决了一个问题,就是建立与汽车行业相关的、语义分析所需的分词库。目前为止,我们已经拥有近一万条关于汽车行业的分词库。同时,我们拿来做整个互联网语境训练的数据到这个月月底,就会达到五十万条。这是我们分析的一些基本要素。

现在的公关或者舆情监控都是委托给一些外部的公关公司处理,但还有一些问题需要解决:第一,难以做到实时响应。第二,我们如何去判别真伪?整个舆情的等级是怎样的?这些舆情有些的确是产品质量问题,有些可能是水军炒作。第三,今天爆发了一个事件,未来会牵涉出什么别的事件?

我们准备的一万多条的分词库的基础是由机器学习完成的。但最后的筛选工作也是结合了大量我们在汽车行业内一些专业人士的经验,主要是分类。

为什么说其他的企业、媒体或者一些数据公司不能做同样的事情?关键的因素在于这些公司不具备这个行业里面的一些专家人才。经过一年的进化和不断迭代,目前,我们对于负面舆情的判断能力已经非常强。

还有很重要的一点,我们在做这件事情的时候,所有的源数据都是存在上汽集团的数据湖里面。未来,语言语义分析不光可以为了舆情去做,也可以为其他目的去做。这就体现了一个概念:数据被使用不会消失,而是越使用,就会产生越多的新数据,它的价值就越高。数据跟钱不一样,用完后,它还在那里。

问:上汽舆情分析产品有哪些业务应用?

答:我们主要是在做汽车之家、今日头条、车质网这三个主要网站的实时舆情监控。

但是从数据采集的角度来看,我们还采集其他将近二十多个网页的相关信息,不仅仅是为舆情分析所使用。

比如我们采集了房价数据,用来分析不同区域的房价变动情况。我们还做过安悦充电的充电桩选址案例,分析了私家充电桩目前的使用率和使用状态。

上篇:没有了
下篇:汽车行业综合信息平台
分享到

© 2019 上海汽车报社有限公司

备案号:沪ICP备16052313号-2

↑ TOP