挑战
大数据为日常生活提供了便利,信息网站可以推送用户定制的新闻,购物网站可以预先提供用户想买的物品,人们可以随时随地分享。但是如何有效、快速、可靠地存取这些日益增长的海量数据成了关键的问题。
产品概述
本系统是一款支持结构化数据、非结构化数据、半结构化数据的数据资源存储类产品。针对资源数据体量大、存储弹性强、存储时效长等特性,提供面向海量数字资源的存储与管理,检索与统计服务,很好的解决了资源批量高效入库存储、多样化展现、多层次关联、资源版本控制等问题。
产品特点
海量资源
针对分布广泛、表现形式多样化的海量数字资源,我们采用了批量处理、分布式技术实现高效的存储。
长期保存
具有完整性、可读取、可移植等特性,有效的解决了资源多样性、资源多版本、资源多层次、资源间多关联的问题,为海量数字资源的长期存储提供保障。
弹性存储
提供突破性的数据存取速度、更简易的管理以及随着数据量的增加,更加快速、经济地扩展技术基础架构的能力。
核心功能
将资源以标准格式存储到仓储系统中进行长期保存,入库需要将资源按规则制作成sip包之后执行入库。资源入库前系统会为每一个新入库的资源分配一个唯一标识符,按照批次入库 ,系统对资源入库情况进行全程监控。
提供数据资源管理、资源存储周期管理、资源存储规则管理、元数据查询及管理、数据关系查询及管理、版本控制等功能。
系统提供实时的全量或增量方式进行可视化数据资源统计。直观的展现仓储系统中的数据量、存储健康状态、数据质量、接口监控、节点状态等指标。其中包括:结构化数据量、非结构化数据量、容量占比、记录数、文件数、 节点服务状态、结构监控信息等维度进行统计分析。
运行环境
典型案例
本项目以资源为中心、服务为宗旨,集读者门户、特色资源门户、统一检索、面向读者个性化服务与定制、互动中心等多项功能为一体,为读者提供多种应用和多种资源。项目整合国家图书馆包括自建资源、外购资源库的资源及服务,为读者提供所见即所得的资源访问统一入口;推出了资源排行榜、基于读者行为的智能化推荐/检索以及我的数字图书馆,为读者搭建出个性化门户;系统基于flex技术的全文阅读和媒体播放等应用,不仅在浏览器端实现了防打印、防拷贝,增强了安全性,还为读者提供了翻页流畅、随意缩放、任意跳转等较好的阅览体验。
2012年4月23日 “读书日” 系统上线后得到各界一致好评;截至2012年5月23日,累计访问超过30万人次,共收到读者好评、表扬信700余封,《光明日报》文化版进行报道,上线当天微博被转发超过1.5万次,读者形容国图新系统是集合了“百度文库”、“腾讯图片”、“优酷视频”等知名商业网站优点的超级系统。
视频介绍
分布式资源仓储系统