日前,重庆移动完成大数据平台hadoop集群设备利旧和扩容工作,这是继B域应用从老平台迁移到新平台后,陆续完成的O域应用迁移,老集群停机下线,设备回收,设备利旧加入新hadoop集群几部分工作。
首先是O域应用迁移:经过程序测试、新老集群并行执行、迁移割接、检查核对等过程,将租户约200个应用程序从老hadoop集群集中迁移到新的hadoop集群运行,迁移后应用执行效率正常。
其次是老集群停机和设备回收:在应用迁移完毕后,将老集群关键数据和文件进行备份后,对集群的设备完成数据清理,将一部分大数据一期老旧设备拆除用于搭建测试hadoop集群,将另一部分大数据二期设备用于新大数据平台。
再次是设备利旧加入新集群:大数据二期设备利旧,将大数据二期78台设备加入到新的hadoop集群,扩充集群能力。
该项工作完成后,大数据平台hadoop集群节点为229台,存储能力为10PB,CPU为7760核心,内存为41TB,支撑公司各个部门租户共26个,每日执行计算任务1万余个。大数据平台设备利旧,一方面为支撑重庆移动大数据应用提供了有效的支撑和能力储备,另一方面为大数据平台建设节约了投资成本。
免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。