鐢?/p>
Apache Spark
杩涜澶ф暟鎹鐞?/p>
鈥斺�?/p>
绗竴閮ㄥ垎锛氬叆闂ㄤ粙
缁?/p>
浠�涔堟槸
Spark
Apache Spark
鏄竴涓洿缁曢�熷害銆佹槗鐢ㄦ�у拰澶嶆潅鍒嗘瀽鏋勫缓鐨勫ぇ鏁版嵁澶勭悊妗嗘灦銆傛渶鍒濆湪
2009
骞寸敱鍔犲窞澶у浼厠鍒╁垎鏍＄殑
AMPLab
寮�鍙戯紝骞朵簬
2010
骞存垚涓?/p>
Apache
鐨勫紑婧愰」鐩箣涓�銆?/p>
涓?/p>
Hadoop
鍜?/p>
Storm
绛夊叾浠栧ぇ鏁版嵁鍜?/p>
MapReduce
鎶�鏈浉姣旓紝
Spark
鏈夊涓嬩紭鍔裤�?/p>
棣栧厛锛?/p>
Spark
涓烘垜浠彁渚涗簡涓�涓叏闈€�佺粺涓�鐨勬鏋剁敤浜庣鐞嗗悇绉嶆湁鐫�涓嶅悓鎬ц川锛堟枃鏈暟鎹�?/p>
鍥捐〃鏁版嵁绛夛級鐨勬暟鎹泦鍜屾暟鎹簮锛堟壒閲忔暟鎹垨瀹炴椂鐨勬祦鏁版嵁锛夌殑澶ф暟鎹鐞嗙殑闇�姹傘�?/p>
Spark
鍙互灏?/p>
Hadoop
闆嗙兢涓殑搴旂敤鍦ㄥ唴瀛樹腑鐨勮繍琛岄�熷害鎻愬崌
100
鍊嶏紝
鐢氳嚦鑳藉灏嗗簲鐢ㄥ湪纾?/p>
鐩樹笂鐨勮繍琛岄�熷害鎻愬崌
10
鍊嶃�?/p>
Spark
璁╁紑鍙戣�呭彲浠ュ揩閫熺殑鐢?/p>
Java
銆?/p>
Scala
鎴?/p>
Python
缂栧啓绋嬪簭銆?/p>
瀹冩湰韬嚜甯︿簡涓�涓秴杩?/p>
80
涓珮闃舵搷浣滅闆嗗悎銆傝�屼笖杩樺彲浠ョ敤瀹冨湪
shell
涓互浜や簰寮忓湴鏌ヨ鏁版嵁銆?/p>
闄や簡
Map
鍜?/p>
Reduce
鎿嶄綔涔嬪锛屽畠杩樻敮鎸?/p>
SQL
鏌ヨ锛屾祦鏁版嵁锛屾満鍣ㄥ涔犲拰鍥捐〃鏁版嵁澶勭悊銆?/p>
寮�鍙戣�呭彲浠ュ湪涓�涓暟鎹閬撶敤渚嬩腑鍗曠嫭浣跨敤鏌愪竴鑳藉姏鎴栬�呭皢杩欎簺鑳藉姏缁撳悎鍦ㄤ竴璧蜂娇鐢ㄣ�?/p>
鍦ㄨ繖涓?/p>
Apache Spark
鏂囩珷绯诲垪鐨勭涓�閮ㄥ垎涓紝鎴戜滑灏嗕簡瑙ｅ埌浠�涔堟槸
Spark
锛屽畠涓庡吀鍨嬬殑
MapReduce
瑙ｅ喅鏂规鐨勬瘮杈冧互鍙婂畠濡備綍涓哄ぇ鏁版嵁澶勭悊鎻愪緵浜嗕竴濂楀畬鏁寸殑宸ュ叿銆?/p>
Hadoop
鍜?/p>
Spark
Hadoop
杩欓」澶ф暟鎹鐞嗘妧鏈ぇ姒傚凡鏈夊崄骞村巻鍙诧紝
鑰屼笖琚湅鍋氭槸棣栭�夌殑澶ф暟鎹泦鍚堝鐞嗙殑瑙?/p>
鍐虫柟妗堛�?/p>
MapReduce
鏄竴璺绠楃殑浼樼瑙ｅ喅鏂规锛屼笉杩囧浜庨渶瑕佸璺绠楀拰绠楁硶鐨勭敤渚嬫潵
璇达紝骞堕潪鍗佸垎楂樻晥銆傛暟鎹鐞嗘祦绋嬩腑鐨勬瘡涓�姝ラ兘闇�瑕佷竴涓?/p>
Map
闃舵鍜屼竴涓?/p>
Reduce
闃舵锛?/p>
鑰屼笖濡傛灉瑕佸埄鐢ㄨ繖涓�瑙ｅ喅鏂规锛岄渶瑕佸皢鎵�鏈夌敤渚嬮兘杞崲鎴?/p>
MapReduce
妯″紡銆?/p>
鍦ㄤ笅涓�姝ュ紑濮嬩箣鍓嶏紝
涓婁竴姝ョ殑浣滀笟杈撳嚭鏁版嵁蹇呴』瑕佸瓨鍌ㄥ埌鍒嗗竷寮忔枃浠剁郴缁熶腑銆?/p>
鍥犳锛?/p>
澶嶅埗鍜?/p>
纾佺洏瀛樺偍浼氬鑷磋繖绉嶆柟寮忛�熷害鍙樻參銆?/p>
鍙﹀
Hadoop
瑙ｅ喅鏂规涓�氬父浼氬寘鍚毦浠ュ畨瑁呭拰绠＄悊鐨?/p>
闆嗙兢銆傝�屼笖涓轰簡澶勭悊涓嶅悓鐨勫ぇ鏁版嵁鐢ㄤ緥锛岃繕闇�瑕侀泦鎴愬绉嶄笉鍚岀殑宸ュ叿锛堝鐢ㄤ簬鏈哄櫒瀛︿範鐨?/p>
Mahout
鍜屾祦鏁版嵁澶勭悊鐨?/p>
Storm
锛夈�?/p>
濡傛灉鎯宠瀹屾垚姣旇緝澶嶆潅鐨勫伐浣滐紝
灏卞繀椤诲皢涓�绯诲垪鐨?/p>
MapReduce
浣滀笟涓茶仈璧锋潵鐒跺悗椤哄簭鎵ц
杩欎簺浣滀笟銆?/p>
姣忎竴涓綔涓氶兘鏄珮鏃跺欢鐨勶紝
鑰屼笖鍙湁鍦ㄥ墠涓�涓綔涓氬畬鎴愪箣鍚庝笅涓�涓綔涓氭墠鑳藉紑濮?/p>
鍚姩銆?/p>
鑰?/p>
Spark
鍒欏厑璁哥▼搴忓紑鍙戣�呬娇鐢ㄦ湁鍚戞棤鐜浘锛?/p>
DAG
锛夊紑鍙戝鏉傜殑澶氭鏁版嵁绠￠亾銆傝�屼笖杩樻敮
鎸佽法鏈夊悜鏃犵幆鍥剧殑鍐呭瓨鏁版嵁鍏变韩锛屼互渚夸笉鍚岀殑浣滀笟鍙互鍏卞悓澶勭悊鍚屼竴涓暟鎹�?/p>