為了解決信息過載和用戶無明確需求的問題,找到用戶感興趣的物品,才有了個性化推薦系統(tǒng)。其實,解決信息過載的問題,代表性的解決方案是分類目錄和搜索引擎,如hao123,電商首頁的分類目錄以及百度,360搜索等。不過分類目錄和搜索引擎只能解決用戶主動查找信息的需求,即用戶知道自己想要什么,并不能解決用戶沒用明確需求很隨便的問題... 查看全文>>
大數(shù)據(jù)技術文章2015-12-29 |傳智播客云計算學科 |推薦系統(tǒng)
2011年在海量數(shù)據(jù)處理領域,Hadoop是人們津津樂道的技術,Hadoop不僅可以用來存儲海量數(shù)據(jù),還以用來計算海量數(shù)據(jù)。因為其高吞吐、高可靠等特點,很多互聯(lián)網公司都已經使用Hadoop來構建數(shù)據(jù)倉庫,高頻使用并促進了Hadoop生態(tài)圈的各項技術的發(fā)展... 查看全文>>
大數(shù)據(jù)技術文章2015-12-29 |傳智播客云計算學科 |處理數(shù)據(jù),Hadoop,Storm
Spark SQL可以通過JDBC從關系型數(shù)據(jù)庫中讀取數(shù)據(jù)的方式創(chuàng)建DataFrame,通過對DataFrame一系列的計算后,還可以將數(shù)據(jù)再寫回關系型數(shù)據(jù)庫中... 查看全文>>
大數(shù)據(jù)技術文章2015-12-29 |傳智播客云計算學科 |JDBC,MySQL,Spark,SQL
Spark SQL 是一個用來處理結構化數(shù)據(jù)的spark組件。它提供了一個叫做DataFrames的可編程抽象數(shù)據(jù)模型,并且可被視為一個分布式的SQL查詢引擎... 查看全文>>
大數(shù)據(jù)技術文章2015-12-29 |傳智播客云計算學科 |Spark,SQL
Spark是用Scala語言開發(fā)的,目前對Scala語言支持較好的是IDEA的插件,這里我們編寫一個Spark入門級程序,然后用Maven編譯成jar包,然后提交到集群... 查看全文>>
大數(shù)據(jù)技術文章2015-12-29 |傳智播客云計算學科 |Spark,Spark入門
MapReduce中的GroupingComparator應用案例 在日常的數(shù)據(jù)統(tǒng)計分析中,常常會有類似如下的求分組最大值統(tǒng)計需求,用到的數(shù)據(jù)示例如下: itemid amount date … 10001 136.6 2015-1-12 … 10001 165.5 2015-1-12 … 10002 122.5 2015-1-12 … 10002 166.88 2015-1-12 … 10003 189.65 2015-1-12 … 10003 198.62 2015-1-13 … 10001 278.6 2015-1-13 … 10001 143.6 2015-1-13 … 查看全文>>
大數(shù)據(jù)技術文章2015-12-29 |傳智播客云計算學科 |云計算,應用案例