当前位置: 首页 >> 教学科研支撑 >> 大数据平台 >> 正文

大数据创新平台介绍

发布者: [发表时间]:2023-06-09 [来源]: [浏览次数]:

   bet体育365官网正规大数据创新应用平台建立于2016年底,总投资达1000万元,整个平台采用了曙光Infinity9000平台。该集群平台共有104台机架式服务器,内存6480G,达到3040核的并发能力、600TB的存储能力、9984个并行流处理能力。该系统支持Xdata大数据计算平台,提供对Hadoop、Spark、Storm、Hive、Hbase、Flume、Kafka等主流大数据组件的支持,同时提供可视化数据挖掘分析工具Mining,Insight大数据ETL工具,行业大数据实战系统,大数据基站系统,同时提供200个接入桌面用于科研接入环境,安装有MongoDB、Eclipse、IntelliJ IDEA、Pycharm等数据库和开发工具。

   2021年9月新购入5台德拓大数据服务器,192G内存每台,整个集群140T硬盘(冗余后可用70TB),结合德拓提供的Dsight平台。大数据实验平台包含大数据分析与处理、数据挖掘与数据仓库等20门课程,可同时支撑350人满足员工实验课堂、课后在线完成相关任务。支持科研与员工创新创业方面用户实例数36个,包含支撑交通大数据分析、电力大数据分析等20余个师生各级各类科研、教研、创新创业课题。现全面支撑学院的各类科研任务。主要包括:大规模图像检索研究、海量监控视频分析研究、多模态哈希研究、海量文本分类研究、糖尿病视网膜病变自动筛查、大规模异构海量数据集成、蛋白质不相关功能标注预测模型、电子商务类大数据实验、参加KDD,IJCAI大数据竞赛比赛、基于大数据分析的在线教育学习个性化推荐系统研究、参加重庆市大数据应用创新大赛处理200G的重庆市交通信息、复杂网络计算、relion软件的模拟和计算--解析冷冻电镜三维结构、用于时序网络大数据分析的研究、研发农业农村综合信息服务平台、柑橘肥水及病虫害管理大数据应用研发、种猪疾病预防大数据应用研发、农业气象大数据应用研发以及高考阅卷数据的大数据分析应用等。