生态大数据数据管理平台项目竞争性谈判公告

2019/11/04 招标信息


一、采购条件

内蒙古蒙草草原生态大数据研究院有限公司针对生态大数据数据管理平台项目竞争性谈判。

二、项目概况

(一)项目名称:生态大数据数据管理平台项目

(二)项目编号:MCSTHJ-2019-FW015

(三)采购方式:公开竞争性谈判

(四)资金来源:专项资金

(五)资金落实情况:已落实

三、采购内容

(一)融合数据产品工具

基于融合数据软件,建立数据融合采集系统,实现结构化、半结构化、非结构化数据的采集能力,有效解决蒙草集团内外部数据收集和转换和汇总的问题。具体技术指标要求如下:

1.数据接入

(1)支持国内外主流的关系型数据库,包括:Oracle、DB2、Teradata、SQL Server、Sybase、Informix、MySQL、PostgreSQL、Greenplum、Netezza、Vertica、Teradata、人大金仓数据库KingbaseES、南大通用Gbase、华为Libra、达梦数据库DM、神通数据库等。

(2)支持普通文本、CSV、XML、Excel、Json等多种格式的文件的接入。

(3)支持HTTP、JMS、FTP、Web Services等协议和其他应用系统进行交互。

(4)支持消息传输通道(Kafka输入,Kafka输出)、大数据搜索引擎组件(ElasticSearch输入、ElasticSearch输出)等。

(5)支持大数据存储和访问,支持大数据环境的数据采集。支持MongoDB、HBase等主流大数据数据库等,支持大数据存储载体Hadoop,适配SDC Hadoop、Apache开源大数据平台、华为大数据平台安全模式、星环大数据平台安全模式等国内主流大数据平台。

2.数据转换

(1)支持拖拽的方式快速构建各种数据集成流程化设计。

(2)转换组件主要涵盖空值替换、数据校验、常量值、值映射、字段选取、数据去重、排序、字符切割、字符替换、拆分字段、值运算、值连接、范围划分、行列转换等复杂处理;

(3)作业组件主要涵盖文件处理,大数据处理,配置处理条件,自定义脚本等任务配置组件。

(4)支持文件和数据断点续传:支持G级别大小的文件断点续传,传输过程中网络中断后,在重新传输时,通过检测文件长度和断点位置,从断点处开始传输,可节省时间和其它资源。

3.任务监控

支持可视化任务监控:以可视化界面监控任务运行详情、数据处理流程、任务执行日志、步骤度量和历史详情,并提供实时报警。

4.作业调度

提供强大的调度引擎,支撑各种复杂的任务调度流程的高效运行,为海量的异构数据集成提供保障。支持关系型数据采集、大数据采集(Hbase采集)、文件数据采集、接口数据采集任务的统一管理和调度。

(二)数据治理产品工具

以国标、行标等数据规范为指导,结合蒙草自有基础数据规范标准,针对蒙草业务系统,对其数据进行整合集成。构建元数据管理、数据标准管理、数据质量管理、数据资产管理、数据服务等功能模块。主要模块具体技术指标要求如下:

1.元数据管理

(1)支持基于CWM元数据标准实现对业务元数据、技术元数据、管理元数据的统一管理和存储。

(2)支持基于CWM元数据标准实现对业务元数据、技术元数据、管理元数据的统一管理和存储。

(3)提供影响分析、血缘分析、全链分析、关联分析等功能,支持业务元数据和技术元数据关联关系自动解析,提供友好的图形展示分析功能。

(4)支持元数据权限管理,可按照用户和角色进行授权,权限颗粒度细化到按照列和行进行授权。

(5)支持元数据地图的全景关系展示,可下钻到表、字段级别查看血缘关系。

2.数据标准管理

(1)依据数据访问频率、数据引用情况、数据唯一性、元数据属性、等进行智能识别,基于技术元数据的分类作为样本进行训练,智能生成数据元标准和数据集。

(2)支持智能生成数据元与技术元数据、数据集与技术元数据的关联关系。

(3)支持针对数据元标准的规则配置,包括类型,长度,值域,正则表达式,数据范围。

3.数据质量管理

(1)支持大数据主流厂商Hive、HBase数据源的数据质量任务运行能力,主要包括(SDC Hadoop、CDH、HDP、星环TDH、华为Fusioninsight)。

(2)支持双引擎模式,针对不同数据量的质量任务提供分布式任务和集群任务同时设计、运行、输出质量报告。

(3)支持通过识别技术元数据与业务元数据的关系,智能生成待治理表的质量规则,智能生成质量规则包括数据格式校验、值域校验、数据范围校验、正则表达式校验、空值校验。

(4)支持拖拽的方式快速构建各种数据校验流程化设计。校验组件涵盖数据格式校验、数据范围校验、正则表达式、值域校验、字段值缺失、唯一性校验、记录数缺失、Switch/case、主外键一致性校验、字段值比对、身份证校验、及时性校验、精度校验、JavaScript、Java;支持校验规则的自定义,支持校验流程分支设计。

(5)探查和识别数据,可以针对数据进行准确性、完整性、唯一性等类别进行自动识别,自动生成质量报告,提升数据管理水平。可按照年、月、季度等时间维度,也可按照每个数据源的维度生成质量报告,支持质量报告的下载。

4.数据资产管理

(1)支持对数据资产全生命周期管理,根据自定义策略,可将数据及关联的文件进行自动化的清理和归档。

(2)支持数据地图功能,支持从宏观角度可视化查看各存储介质之间数据流向关系,支持从数仓分层到数据库的下钻及相关信息的展示,支持数据库逐层下钻。

5.数据共享服务

(1)支持通过web界面即可完成数据服务接口的服务发布、审核、共享,无需编程人员开发代码。

(2支持数据脱敏:规则配置简单易用,支持替换,截断,掩码,重排,日期偏移取整脱敏规则的配置。

(三)数据仓库建设

遵循数据标准的数据信息项和标准代码,结合国内外综合科学模型建设方法,作为逻辑数据模型建设的参考标准,构建蒙草数据资源仓库为四层架构设计,其中包括ODS数据准备层、DWD数据基础层、DM数据集市层、数据应用层。

详细采购内容见《竞争性谈判文件》

四、投标人资格要求

(一)具有足够资产和能力来有效地履行合同,近三年无违法违规行为,没有处于被责令停业或破产状态,且资产未被重组、接管和冻结。

(二)有依法缴纳税收和社会保障资金的良好记录。

(三)有独立项目开发成功案例,须提本次项目规模相当的成功案例。

(四)近3年内未出现过验收未获通过的项目或者应由企业承担责任的用户重大投诉。

五、公告发布媒介

(一)中国采购与招标网         网址:www.chinabidding.com.cn

(二)内蒙古蒙草公司官网       网址:www.mengcao.com

六、报名须知及资格审查

(一)报名时间:2019年11月4日至2019年11月10日,8:30-12:00, 14:30-18:00时(北京时间,下同),报名截止时间为2019年11月10日18:00,逾期不再受理。

(二)报名方式:投标人填写《投标报名表》,签字确认并连同企业营业执照、开户许可证、软件资质于报名截止时间前发回到服务中心报名邮箱yyang0102@126.com。(注:报名表需word版+扫描盖章版)采购人在指定日期回复竞谈文件至对应报名邮箱,不需要现场领取)。

七、竞谈文件的获取

(一)获取时间:2019年11月4日至2019年11月10日,上午8:30-12:00,下午13:30-17:30,逾期不再受理。

八、其他事项

(一)开标时间:2019年11月11日上午9:00时

开标地点:内蒙古呼和浩特市新城区蒙草集团百草园会议室

(二)本次招标不接受联合体投标,不接受邮寄投标。

(三)投标费用:投标人应承担其编制与递交投标文件所涉及的一切费用,无论投标结果如何,采购人对上述费用概不负责,均由投标人承担。

九、联系方式

采购人:内蒙古蒙草草原生态大数据研究院有限公司

投标报名联系人及电话:  杨阳  18248115918

需求部门答疑联系人及电话: 徐敏  15548139860

      话:0471-6695191-810   

      真:0471-6695192

      箱:yyang0102@126.com

 

 

 

 

附件一:投标报名表

 

 

                                                   采购人:内蒙古蒙草草原生态大数据研究院有限公司

                                                                    日期:二○一九年十一月四日

 

  

报名表下载链接

fd8ce6b1e1384fc401ff65fdadede8dd.docx