气象数据私有云
至2008年我国的国家级地面气象观测站基本实现了对于气温、气压、空气湿度、风、降雨、地温、辐射以及蒸发等常规气象要素的自动化观测。在建设和运行过程中,经常形成不同的信息孤岛,多个自动化站网数据独立分散的情况,同时气象数据的长期存储管理手段不足。
基于超存云光电融合云存储构建的私有云系统可以在有效利用各站点现有IT基础设施的情况下,有效的将各个气象信息孤岛联通,实现气象大数据资源的共享、发掘、分析与应用。同时,超存云系统支持在线、近线与离线三级分层存储管理,是气象大数据的低成本、低能耗、支持数据50年以上长期保存的绿色安全存储方案。
1、系统架构
每个存储虚拟化服务器作为在线存储配置24块4TB共计96TB SATA3高速硬盘,用于存储生产数据保证高性能数据访问服务。系统支持存储虚拟化服务器的横向扩展,最多可扩展至288个节点。
每个蓝光光盘阵列作为近线存储配置500张100GB共计50TB档案级蓝光光盘,用于存储备份数据、归档数据以及冷数据。系统支持蓝光光盘阵列的横向扩展,最多可扩展至288个节点。
离线库作为离线存储可存放7500张光盘,可根据查询信息自动定位光盘在离线库中的位置。
存储虚拟化服务器为前端的气象大数据应用提供统一的存储视图,创建指定容量的逻辑卷供观测站数据服务器与气象数据分析服务器挂载使用。
2、系统功能
1)数据分类
根据数据源类型的不同使用不同的数据分类策略进行原始数据的归类。从用户服务器提供的共享存储池中主动获取数据,并把分类后数据暂存到本地缓存池中。
数据通道包括地面、高空、海洋、辐射、农气、大气成分、灾害、雷达、卫星、气象服务等。
2)数据的累积刻录
根据数据源类型的不同使用不同的数据分类策略进行原始数据的归类。从用户服务器提供的共享存储池中主动获取数据,并把分类后数据暂存到本地缓存池中。当已分类的数据达到用户设定的光盘存储阈值时将缓存池的数据以及数据通道的说明文件刻录到专业蓝光光盘内。
3)数据查询和在线查看
数据刻录到光盘后,通过文件管理页面的文件查询可以检索到数据的存放位置及路径,同时根据需要进行数据的导出。
双击数据,相应的数据盘将会被调入光驱中,在远程控制端在线查看数据。
4)数据盘管理
气象数据被分类刻录到光盘后,编辑数据盘的光盘名称,添加数据盘将要离线存放的柜号、行号、列号或者对数据盘进行备注。将数据盘的光盘名称及在盘匣的位置导出到文档,实现光盘表面的打印和离线存放。
3、系统特点
1)高可用
支持介质与节点容错,支持不中断设备升级与维护服务。
2)弹性扩展
逻辑卷容量可以通过增加节点实现弹性扩展且逻辑卷中原有数据无需迁移。
3)安全存储
病毒木马免疫,保存在档案级蓝光光盘上的数据物理只读,不会被人为篡改,或被误删,系统故障也不会对蓝光光盘上的数据造成任何损坏。
防电磁,在强电磁场环境下数据不会受任何影响。
可靠的数据灾难备份方案。水灾、地震灾难下,保存于蓝光光盘的数据生存能力远高于保存于磁盘的数据。
4)长期存储
相比磁盘阵列的3~5年的寿命,蓝光光盘的介质寿命长达50年以上,保证数据长期可靠存储。
5)气象数据分级存储
根据气象数据生成时间可以分别存放于在线存储、近线存储与离线存储。可以自定义不同存储级别间的双向迁移策略,支持气象历史数据的大数据分析。
6)易维护
自动化介质健康状态巡检,蓝光光盘物理只读,保存的数据不会因系统误操作而造成数据丢失。系统可以实现无人值守,自动维护。