什么是Sqoop，Sqoop在開發(fā)中起到什么作用？

更新時間:2020年10月16日17時53分來源:傳智播客瀏覽次數(shù):

　　Sqoop是Apache旗下的一款開源工具，該項目開始于2009年，最早是作為Hadoop的一個第三方模塊存在，后來為了讓使用者能夠快速部署，也為了讓開發(fā)人員能夠更快速的迭代開發(fā)，并在2013年，獨立成為Apache的一個頂級開源項目。

　　Sqoop主要用于在Hadoop和關系數(shù)據(jù)庫或大型機之間傳輸數(shù)據(jù)，可以使用Sqoop工具將數(shù)據(jù)從關系數(shù)據(jù)庫管理系統(tǒng)導入(import)到Hadoop分布式文件系統(tǒng)中，或者將Hadoop中的數(shù)據(jù)轉換導出(export)到關系數(shù)據(jù)庫管理系統(tǒng)，其功能如圖1所示。

　　圖1 Sqoop功能

　　目前Sqoop主要分為Sqoop1和Sqoop2兩個版本，其中，版本號為1.4.x屬于Sqoop1，而版本號為1.99.x的屬于Sqoop2。這兩個版本開發(fā)時的定位方向不同，體系結構具有很大的差異，因此它們之間互不兼容。

　　Sqoop1功能結構簡單，部署方便，提供命令行操作方式，主要適用于系統(tǒng)服務管理人員進行簡單的數(shù)據(jù)遷移操作;Sqoop2功能完善、操作簡便，同時支持多種訪問模式(命令行操作、Web訪問、Rest API)，引入角色安全機制增加安全性等多種優(yōu)點，但是結構復雜，配置部署更加繁瑣。由于本書只用到Sqoop解決數(shù)據(jù)遷移問題，因此使用Sqoop1就可以完成基本的需求。

猜你喜歡：

HDFS是什么？HDFS的演變過程？

點對點消息傳遞模式與發(fā)布訂閱消息傳遞模式【大數(shù)據(jù)培訓】

Spark有什么特點？【大數(shù)據(jù)培訓】

如何通過ECharts js實現(xiàn)數(shù)據(jù)可視化面板[大數(shù)據(jù)培訓視頻教程]

上一篇：Hadoop集群怎么通過UI界面實現(xiàn)集群的管理 下一篇：HBase分布式數(shù)據(jù)庫有哪些特點？HBase簡介