MapReduce是一種編程模型,用于處理大規(guī)模數(shù)據(jù)集的并行運(yùn)算。使用MapReduce執(zhí)行計(jì)算任務(wù)的時(shí)候,每個(gè)任務(wù)的執(zhí)行過(guò)程都會(huì)被分為兩個(gè)階段,分別是Map和Reduce,其中Map階段用于對(duì)原始數(shù)據(jù)進(jìn)行處理,Reduce階段用于對(duì)Map階段的結(jié)果進(jìn)行匯總,得到最終結(jié)果,這兩個(gè)階段的模型如下圖所示。 查看全文>>
Python+大數(shù)據(jù)技術(shù)文章2021-12-06 |傳智教育 |MapReduce編程模型
Flume的核心角色是Agent,通過(guò)Agent可以從其他服務(wù)中采集數(shù)據(jù),并通過(guò)內(nèi)部event流的形式傳輸?shù)絊ink,并根據(jù)需求最終向下一個(gè)Agent傳輸或者進(jìn)行集中式存儲(chǔ)。 查看全文>>
Python+大數(shù)據(jù)技術(shù)文章2021-12-01 |傳智教育 |Flume日志采集系統(tǒng)結(jié)構(gòu)圖
爬取網(wǎng)頁(yè)其實(shí)就是通過(guò)URL獲取網(wǎng)頁(yè)信息,網(wǎng)頁(yè)信息的實(shí)質(zhì)是一段添加了JavaScript和CSS的HTML代碼。Python提供了一個(gè)抓取網(wǎng)頁(yè)信息的第三方模塊requests,requests模塊自稱“HTTP for Humans”,直譯過(guò)來(lái)的意思是專門為人類而設(shè)計(jì)的HTTP模塊,該模塊支持發(fā)送請(qǐng)求,也支持獲取響應(yīng)。 查看全文>>
Python+大數(shù)據(jù)技術(shù)文章2021-11-19 |傳智教育 |使用requests模塊抓取網(wǎng)頁(yè)
利用json模塊的dumps()函數(shù)和loads()函數(shù)可以實(shí)現(xiàn)Python對(duì)象和JSON數(shù)據(jù)之間的轉(zhuǎn)換,下面來(lái)分別演示兩種函數(shù)的用法 查看全文>>
Python+大數(shù)據(jù)技術(shù)文章2021-11-18 |傳智教育 |利用函數(shù)實(shí)現(xiàn)Pytho對(duì)象和JSON數(shù)據(jù)的相互轉(zhuǎn)換
程序中與數(shù)據(jù)相關(guān)的操作分為數(shù)據(jù)的存儲(chǔ)與讀寫。下面將對(duì)如何存儲(chǔ)與讀寫不同維度的數(shù)據(jù)進(jìn)行講解。1.數(shù)據(jù)存儲(chǔ)數(shù)據(jù)通常存儲(chǔ)在文件之中,為了方便后續(xù)的讀寫操作,數(shù)據(jù)通常需要按照約定的組織方式進(jìn)行存儲(chǔ)。一維數(shù)據(jù)呈線性排列,一般用特殊字符分隔,具體示例如下。 查看全文>>
Python+大數(shù)據(jù)技術(shù)文章2021-11-18 |黑馬程序員 |存儲(chǔ)與讀寫不同維度的數(shù)據(jù)
?pygame是為開發(fā)2D游戲而設(shè)計(jì)的Python跨平臺(tái)模塊,開發(fā)人員利用pygame模塊中定義的接口,可以方便快捷地實(shí)現(xiàn)諸如圖形用戶界面創(chuàng)建、圖形和圖像的繪制、用戶鍵盤和鼠標(biāo)操作的監(jiān)聽以及播放音頻等游戲中常用的功能。 查看全文>>
Python+大數(shù)據(jù)技術(shù)文章2021-11-05 |傳智教育 |pygame,pygame安裝
眾所周知,游戲啟動(dòng)后一般由玩家手動(dòng)關(guān)閉,但目前的程序在開啟圖形窗口并設(shè)做標(biāo)題后退出,這是因?yàn)槌绦蛞呀?jīng)執(zhí)行完畢。若要使游成保持運(yùn)行,需要在程序中添加一個(gè)無(wú)限循環(huán),循環(huán)代碼如下: 查看全文>>
Python+大數(shù)據(jù)技術(shù)文章2021-11-05 |傳智教育 |Python游戲模塊,游戲循環(huán)與游戲時(shí)鐘
隨著漢語(yǔ)言的廣泛應(yīng)用,中文信息處理成了一個(gè)重要的研究課題,常見于搜索引擎:信息檢索、中外文自動(dòng)翻譯、數(shù)據(jù)挖掘技術(shù)、自然語(yǔ)言處理等領(lǐng)域。在處理的過(guò)程中,中文分詞是最基礎(chǔ)的一環(huán)。 查看全文>>
Python+大數(shù)據(jù)技術(shù)文章2021-11-05 |傳智教育 |jieba中文分詞模塊
北京校區(qū)