起初,通过 Elasticsearch(基于Lucene的开源搜索引擎)与 MongoDB(基于分布式文件存储的开源数据库)的结合,和泰采用爬虫引擎,采集消息数据高达百亿级别。
但很快,和泰汽车发现,一旦基于复杂的搜索要求,搜索引擎处理大量的资料及统计分析时,平台系统会因为资料量过于庞大,导致搜索效率遇到瓶颈,整个执行过程的等待时间长达1200 秒甚至宕机,这样的处理效率会让和泰汽车无法及时掌握各种网络舆情资讯。
此外,他们还发现,平台分析效率不达标的很大症结在于存储硬盘的性能不足。之前装有 Elasticsearch和 MongoDB的服务器上装配机械硬盘,性能无法应对海量数据的分析挑战。
和泰汽车成立于1947年,是日本丰田汽车海外市场的首家代理商。目前主要代理销售丰田、凌志、日野汽车等知名汽车品牌。为车主提供完整的售后与汽车周边服务,为顾客创造超越期待的用车体验!
在经过多种存储系统的测试后,最终选择川源 NeoSapphire® 全闪存阵列攻克目前所面临的性能瓶颈。
历经多行业、多场景历练的川源新蓝宝 NeoSapphire® 全闪存阵列,拥有独家闪存管理核心技术FlexiRemap®,是专为闪存储阵列所设计的优化算法,使川源全闪存阵列能够发挥无与伦比的性能,并满足多功能性、耐用性和低运维成本的需求。
分析效率提升超越100倍:
FlexiRemap® 技术完全发挥存储系统 CPU 与每颗 SSD 硬盘的性能,以提供高达 70 万 IOPS 的 4KB 随机写入性能,舆情分析平台分析结果从 1200 秒大幅缩减为仅 10 秒钟,搜寻性能与之前相比提升超越100倍。
坚实可靠的数据保护能力
通过随机写入转为顺序写入的独特技术,以及内建全局均衡损耗算法机制,再加上优化空间回收的算法,每颗 SSD 能平均处理每一笔资料,并减少写入放大以提供最长的 SSD 可用性,最大程度保护数据能力。
最全景的舆情分析监测
支撑海量数据存储(TB/PB级别),高并发访问(十万TPS~千万TPS),访问延时低。进一步实时挖掘分析,输出舆情影响力诊断、用户画像、情感分析、预警设置等,及时且有效的辅助和泰汽车市场决策。