• 5月国民经济数据公布 下半年走势如何 2019-10-05
  • 暑期升学宴谢师宴流行 纪检部门向干部亮红线 2019-09-26
  • 【专题】节能降耗 保卫蓝天——浙江省暨杭州市2018年节能宣传周 2019-09-24
  • 候选企业:北京高能时代环境技术股份有限公司 2019-09-24
  • 宁德时代首发募资将破纪录 有望成创业板第一市值股 2019-09-20
  • 时速160公里!中国首列2.0版商用磁浮列车下线 2019-09-17
  • 150秒!速览习主席青岛峰会精彩瞬间 2019-09-12
  • 北欧的千湖之国被选为2018全球最幸福国家 2019-09-12
  • 河北永清:小麦丰收秸秆变宝 2019-09-06
  • [大笑]小撸的智商比小萌们高一点,但离咱还是落后至少半个筋斗云! 2019-09-06
  • 国家发改委官员:完成全年降电价目标很有信心 2019-09-05
  • 以朝鲜民主主义人民共和国为例,难道特金会是由朝鲜工人、农民主导的?[哈哈] 2019-08-29
  • 统帅关怀励兵心 矢志强军谋打赢——习近平视察北部战区海军发表的重要讲话在全军和武警部队引起热烈反响 2019-08-13
  • 【学习时刻学思践悟十九大⑥】光明日报王丹:中国书写“最成功的脱贫故事” 2019-08-13
  • 生活-热门标签-华商生活 2019-08-12
  • 90年代桑普多利亚球星
      |  首页  |  资讯  |  评测  |  人物  |  活动  |  学院  |  新报  |  专栏  |  专题  |  专区  |  
    您现在的位置:90年代桑普多利亚球星> 资讯> 大数据>

    意大利桑普多利亚队:应对大规模数据集群治理,联通大数据这么做

    2019-06-10 17:25 作者:秩名 来源:硅谷网综合 HV: 编辑:GuiGu 【搜索试试

    90年代桑普多利亚球星 www.womsl.com 维克多在2012年出版的《大数据时代》一书中曾预测:数据列入企业资产负债表只是时间问题。如今,伴随着新兴科技手段的融合创新,大数据已经应用到了我们生活中的方方面面,数据资产的概念已逐渐得到国内外企业的强烈认同。

    但是,数据和企业资产可以直接划等号吗?实际情况是,没有经过系统管理和规划治理的数据集群,不仅很难为企业创造实际效益,而且还将带来权限混乱、计算能力下降、冗余存储计算、资源浪费等问题,使整个数据集群处于“亚健康”状态。

    那么,是否有正本清源的应对方案呢?联通大数据有限公司技术部负责人李大中日前在2019大数据产业峰会-大数据前沿技术论坛进行分享,他以《联通大规模数据集群治理实践》为主题,分享运营商在数据资产管理方面的经验和对策。

    应对大规模数据集群治理,联通大数据这么做

    下文为李大中演讲内容整理:

    联通大数据有限公司承担着联通大数据能力建设和对外服务运营职能,目前平台存储容量达100PB,Hadoop集群超过6000个节点,数据模型数量达2000余个。作为运营商在数据治理过程中,既要面对大数据量的实时处理需求,也必须从成本角度考虑集群算力配置、安全合规等方面的要求。大数据是一个高成本行业,集群算力成本是其中主要部分。

    通过参考行业的治理经验,并结合公司业务和组织架构特点,我们总结出了一套适合公司业务发展的数据资产管理体系,也就是“疏整促+巡山+DataValue”数据资产管理体系:基于“疏整促”工程构建的全生命周期数据管控治理体系,基于“巡山”工程构建的大规模集群治理体系,基于“DataValue”工程实现对外数据价值经营,三大工程同步推进,形成数据治理+集群治理+数据价值的整体协同效应。

    应对大规模数据集群治理,联通大数据这么做

    在实际执行中,“巡山”工程作为 切入点首先启动,效果也最为明显。在大规模集群计算环境处于亚健康的状态下,我们将治理工作分解为两阶段:首要任务是解决亚健康问题,即保障集群资源算力可用、确保集群稳定性、业务连续性;长期和更为重要任务是保持健康状态,即持续有效的监督数据治理工程的效果。

    关于大规模数据集群治理的推进方法论,由于集群治理涉及到从采集、清洗到模型加工,从平台运维岗到产品开发岗,几乎涵盖了公司的整个技术线和产品线上百人工作内容,所以采用自上而下的顶层设计的方式是不现实的,我们采用的是自下而上、自发协同、精益推进式的数据集群治理文化。从发现问题点入手,由点带面找到原因、制定解决策略并建立相应的监督点,最终逐渐形成体系;通过某几个环节治理成果显性化,带动整个公司生产组织体系逐渐形成治理文化。

    在治理过程中,针对我们遇到过的几个重要的点向大家介绍一下思路:

    1. HDFS&YARN作业深度监控

    针对小文件过多、文件量过大、耗资源大等情况,联通大数据通过自主研发一套统一元数据实时采集平台对Fsimage和EditLog进行反序列化解析,实时批量获取资源队列信息、文件目录、作业任务信息等内容,通过多维关联画像洞察疑似异常作业,推动作业优化和监控优化效果。最终集群文件数量从接近8000万下降为3000万,平均文件大小提升4倍。集群资源负载从每天几乎处于打满状态,下降为不到70%。每年节约固定资产投入上千万元。

    2. RPC请求和关键服务预警

    针对集群RPC经常出现请求延时过大,甚至达到秒级,导致集群处于停摆不可用状态,通过采集JMX指标、服务连接数、堆栈信息、GC等信息进行关联画像,并下钻洞察相关作业,精准定位待优化作业。优化后集群RPC请求延时大幅减少,下降为毫秒级别。

    3. 重复加工/冗余计算挖掘

    针对数据重复加工、冗余计算等情况,估计大家的系统中或多或少都存在,这种情况直接导致资源被浪费。我们通过对HDFS JOB BINARY FILE分析,定位疑似冗余计算作业,这种方式同组织架构复杂度无关、不依赖上层业务输入,其核心思想就是通过提取出具有相同输入路径的作业,以目录维度视角挖掘疑似重复作业,优化后集群资源降低10%以上。

    4. 重构元数据管理、血缘分析应用

    针对数据加工流向追溯、敏感数据难以有效跟踪等情况,通过对HIVE执行日志进行SOL解析,以及通过对SPARK作业输入输出目录画像,以无侵入方式建设企业级全域元数据平台,提供全域物理视图、业务视图、元数据变更跟踪监控、全域数据血缘关系图等核心功能,满足复杂的追溯需求以及故障范围评估。

    谈及在治理过程中的感受,李大中指出:“大规模数据集群治理并非单人、单项目组能够完成的,而是需要以文化渗透的形式动员到公司生产开发组织体系中,采用自下而上自发协同,以OKR而非KPI的方式管理,在解决问题的过程中不断调整目标,从而建成持续优化的治理体制。当然,技术人员也要拥抱和吃透大数据开源技术,采用开创性的思维去解决问题。”

    【对“应对大规模数据集群治理,联通大数据这么做”发布评论】

    版权及免责声明:
    ① 本网站部分投稿来源于“网友”,涉及投资、理财、消费等内容,请亲们反复甄别,切勿轻信。本网站部分由赞助商提供的内容属于【广告】性质,仅供阅读,不构成具体实施建议,请谨慎对待。据此操作,风险自担。
    ② 内容来源注明“硅谷网”及其相关称谓的文字、图片和音视频,版权均属本网站所有,任何媒体、网站或个人需经本网站许可方可复制或转载,并在使用时必须注明来源【硅谷网】或对应来源,违者本网站将依法追究责任。
    ③ 注明来源为各大报纸、杂志、网站及其他媒体的文章,文章原作者享有著作权,本网站转载其他媒体稿件是为传播更多的信息,并不代表赞同其观点和对其真实性负责,本网站不承担此类稿件侵权行为的连带责任。
    ④ 本网站不对非自身发布内容的真实性、合法性、准确性作担保。若硅谷网因为自身和转载内容,涉及到侵权、违法等问题,请有关单位或个人速与本网站取得联系(联系电话:01057255600),我们将第一时间核实处理。
    相关
    ·赋能行业数智升级,联通大数据科技优势凸显
    ·联通大数据助力呼和浩特白塔机场 开启航旅智慧心
    ·联通大数据CTO宋雨伦博士:5G+大数据赋能药品行
    ·联通大数据针对各个行业多款数据科技产品重磅发
    ·联通大数据方案成功入选工信部百家大数据优秀案
    ·数博会领先成果奖发布,联通大数据-智慧数等三项
    ·联通大数据“数博会”分论坛在贵阳隆重召开
    ·联通大数据赵越:数据科技助力智能经济发展
    广告
    头条
    ·卧底大数据营销公司:起底“隐私背后的生意”
    ·大数据年代,我们的思想已逐渐被算法剥夺
    图文
    新升级 联通智游文旅大数据平台一键搞定文旅问题
    新升级 联通智游文旅大数据平台一键搞定文
    联通大数据助力呼和浩特白塔机场 开启航旅智慧心升级
    联通大数据助力呼和浩特白塔机场 开启航旅
    新升级 联通智游文旅大数据平台一键搞定文旅问题
    新升级 联通智游文旅大数据平台一键搞定文
    应对大规模数据集群治理,联通大数据这么做
    应对大规模数据集群治理,联通大数据这么做
    最新
    ·卧底大数据营销公司:起底“隐私背后的生意”
    ·读懂农业大数据 县域农业大脑AI挑战赛发布
    ·新升级 联通智游文旅大数据平台一键搞定文旅问题
    ·迪普科技受邀出席第三届电力大数据高峰论坛
    ·赋能行业数智升级,联通大数据科技优势凸显
    热点
    ·读懂农业大数据 县域农业大脑AI挑战赛发布
    ·新升级 联通智游文旅大数据平台一键搞定文旅
    ·应对大规模数据集群治理,联通大数据这么做
    ·联通大数据赵越:数据科技助力智能经济发展
    ·联通大数据助力呼和浩特白塔机场 开启航旅智
    旧闻
    ·联通大数据赵越:数据科技助力智能经济发展
    ·联通大数据助力呼和浩特白塔机场 开启航旅智
    ·盛夏时节,第三届工业大数据创新竞赛 就等你
    ·2019公共资源交易大数据论坛即将在贵阳开幕
    ·读懂农业大数据 县域农业大脑AI挑战赛发布
    广告
    硅谷影像
    新升级 联通智游文旅大数据平台一键搞定文旅问题
    新升级 联通智游文旅大数据平台一键搞定文旅问题
    联通大数据助力呼和浩特白塔机场 开启航旅智慧心升级
    联通大数据助力呼和浩特白塔机场 开启航旅智慧心
    应对大规模数据集群治理,联通大数据这么做
    应对大规模数据集群治理,联通大数据这么做
    联通大数据方案成功入选工信部百家大数据优秀案例
    联通大数据方案成功入选工信部百家大数据优秀案例
    联通大数据赵越:数据科技助力智能经济发展
    联通大数据赵越:数据科技助力智能经济发展
    高额退票费、大数据杀熟 在线旅游成投诉重灾区
    高额退票费、大数据杀熟 在线旅游成投诉重灾区
    90年代桑普多利亚球星 关于我们·About | 联系我们·contact | 加入我们·Join | 赞助我们·Sponsor | Site Map | Tags | RSS Map
    90年代桑普多利亚球星 移动版·MD版 网站热线:(+86)010-57255600
    Copyright © 2007-2019 硅谷网. 版权所有. All Rights Reserved. <京ICP备12003855号-2>
  • 5月国民经济数据公布 下半年走势如何 2019-10-05
  • 暑期升学宴谢师宴流行 纪检部门向干部亮红线 2019-09-26
  • 【专题】节能降耗 保卫蓝天——浙江省暨杭州市2018年节能宣传周 2019-09-24
  • 候选企业:北京高能时代环境技术股份有限公司 2019-09-24
  • 宁德时代首发募资将破纪录 有望成创业板第一市值股 2019-09-20
  • 时速160公里!中国首列2.0版商用磁浮列车下线 2019-09-17
  • 150秒!速览习主席青岛峰会精彩瞬间 2019-09-12
  • 北欧的千湖之国被选为2018全球最幸福国家 2019-09-12
  • 河北永清:小麦丰收秸秆变宝 2019-09-06
  • [大笑]小撸的智商比小萌们高一点,但离咱还是落后至少半个筋斗云! 2019-09-06
  • 国家发改委官员:完成全年降电价目标很有信心 2019-09-05
  • 以朝鲜民主主义人民共和国为例,难道特金会是由朝鲜工人、农民主导的?[哈哈] 2019-08-29
  • 统帅关怀励兵心 矢志强军谋打赢——习近平视察北部战区海军发表的重要讲话在全军和武警部队引起热烈反响 2019-08-13
  • 【学习时刻学思践悟十九大⑥】光明日报王丹:中国书写“最成功的脱贫故事” 2019-08-13
  • 生活-热门标签-华商生活 2019-08-12
  • 天才威博上 类似必富大宝的游戏平台 重庆时时三星基本走势图 九龙娱乐排一条线可以赚钱吗 单机斗地主电脑版下载 威龙网上娱乐 亚洲兴发pt第一老虎机官网 彩票大小单双 重庆时时历史开奖号码 亿人彩票注册平台 重庆时时彩漏洞在哪 云南时时奖项规则 手机棋牌二人麻将 优彩彩票是诈骗平台吗 时时彩龙虎合是骗局么 九九娱乐下载