国产综合久久久久-狠狠色噜噜狠狠狠狠av-国产女人乱人伦精品一区二区-亚洲a∨国产av综合av下载-爱做久久久久久

首頁 > 期刊 > 自然科學與工程技術 > 信息科技 > 計算機軟件及計算機應用 > 科研信息化技術與應用 > 一種基于層次分割和聚合的大數據流水線任務處理方法 【正文】

一種基于層次分割和聚合的大數據流水線任務處理方法

陳天樂; 蒲軍; 朱小杰; 崔文娟; 馮偉華; 王銳; 杜一; 周園春 中國科學院計算機網絡信息中心; 北京100190; 中國科學院大學; 北京100049; 中國煙草總公司鄭州煙草研究院; 河南鄭州450001
  • 大數據
  • 流水線
  • 批處理
  • 流處理

摘要:近年來,互聯網各類型的數據不斷增長,數據的應用場景也越來越廣泛。如何將各種類型數據自動整合后接入不同的場景平臺成為了各界關心的問題。業界通常采用流水線工具進行任務調度,然而大多數流水線工具都無法將任務分割為多個子任務并行執行。因此本文提出一種基于層次分割和聚合的大數據流水線任務處理方法:首先在分割模塊中將流水線中的任務分割為多個子任務,然后在合并程序中等待各子任務全部完成,合并結果,最終獲得整個任務的完成事件。實現了利用流處理框架處理有限數據集,擴展了流處理系統的使用場景,提升了流水線工具的代碼重用性。實驗表明,本文方法極大減少了數據庫I/O次數,使得本文方法處理DBLP[1]數據的速率是Apache NiFi[2]傳統處理方法的7倍多。

注:因版權方要求,不能公開全文,如需全文,請咨詢雜志社

投稿咨詢 文秘咨詢

科研信息化技術與應用

  • 預計1個月內 預計審稿周期
  • 計算機 快捷分類
  • 雙月刊 出版周期

主管單位:中國科學院;主辦單位:中國科學院計算機網絡信息中心

我們提供的服務

服務流程: 確定期刊 支付定金 完成服務 支付尾款 在線咨詢
主站蜘蛛池模板: 肥臀熟女一区二区三区| 2020久久天天躁狠狠躁夜夜| 亚洲综合图色40p| 伊人久久大香线蕉综合影院 | 欧美xxxx黑人又粗又长精品 | 中文在线а天堂中文在线新版| 亚洲精品人成网线在线播放va| 亚洲色大成网站www| 女人被做到高潮免费视频| 无码国产伦一区二区三区视频| 国产精品青青青在线观看| 亚洲成在人线av品善网好看| 毛茸茸的中国女bbw| 国产-第1页-浮力影院| 国产麻豆剧传媒精品国产av| 中文字幕av无码不卡免费| 老熟妇高潮一区二区三区| 亚洲精品国产成人| 日韩免费视频| 疯狂撞击丝袜人妻| 青春草在线视频观看| 玩弄中年熟妇正在播放| 超薄肉色丝袜一区二区| 丝袜 中出 制服 人妻 美腿 | 欧美成 人 网 站 免费| 久久无码潮喷a片无码高潮| 国产97成人亚洲综合在线| 好爽…又高潮了毛片免费看| 久久久久国产精品免费免费搜索| 国产婷婷色一区二区三区在线| 无码国产精品一区二区免费式芒果| 国厂精品114福利电影免费| 成人av片无码免费天天看| 亚洲色欲综合一区二区三区小说| 欧美日韩视频无码一区二区三| 里番本子纯肉侵犯肉全彩无码| 亚洲一区二区三区在线观看精品中文| 色婷婷一区二区三区四区成人网| 亚洲自偷自偷在线成人网站传媒| 日韩午夜理论免费tv影院| 高清无码18|