´óÊý¾Ý·ÖÎöƽ̨ϵͳ¿ª·¢
´óÊý¾Ý·ÖÎöƽ̨ϵͳ¿ª·¢¹«Ë¾18022899597ÂíС½ã 1¡¢´î½¨´óÊý¾Ýƽ̨Àë²»¿ªBI¡£ÔÚ´óÊý¾Ý֮ǰ£¬BI¾ÍÒѾ´æÔںܾÃÁË£¬¼òµ¥°Ñ´óÊý¾ÝµÈͬÓÚBI£¬Ã÷ÏÔÊDz»Ç¡µ±µÄ¡£µ«Á½ÕßÓÖÊǽôÃܹØÁªµÄ£¬ÏศÏà³ÉµÄ¡£BIÊÇ´ï³ÉÒµÎñ¹ÜÀíµÄÓ¦Óù¤¾ß£¬Ã»ÓÐBI£¬´óÊý¾Ý¾ÍûÓÐÁ˼Ûֵת»¯µÄ¹¤¾ß£¬¾ÍÎÞ·¨°ÑÊý¾ÝµÄ¼ÛÖµ³ÊÏÖ¸øÓû§£¬Ò²¾ÍÎÞ·¨ÓÐЧµØÖ§³ÅÆóÒµ¾Óª¹ÜÀí¾ö²ß£»´óÊý¾ÝÔòÊÇ»ù´¡£¬Ã»ÓдóÊý¾Ý£¬BI¾ÍʧȥÁË´æÔڵĻù´¡£¬Ã»Óа취¿ìËÙ¡¢ÊµÊ±¡¢¸ßЧµØ´¦ÀíÊý¾Ý£¬Ö§³ÅÓ¦ÓᣠËùÒÔ£¬Êý¾ÝµÄ¼ÛÖµ·¢»Ó£¬´óÊý¾Ýƽ̨µÄ½¨É裬±ØÈ»ÊÇÄÒÀ¨ÁË´óÊý¾Ý´¦ÀíÓëBIÓ¦Ó÷ÖÎö½¨ÉèµÄ¡£
2¡¢´óÊý¾ÝÓµÓмÛÖµ¡£À´¿´¿´Êý¾ÝʹÓýð×ÖËþÄ£ÐÍ£¬´ÓÊý¾ÝµÄʹÓýǶÈÀ´¿´£¬Êý¾Ý»ù±¾ÓÐÒÔÏÂʹÓ÷½Ê½£º
×ÔÉ϶øÏ£¬¿ÉÒÔ¿´µ½£¬¶ÔÊý¾ÝµÄÒªÇóÊDz»Ò»ÑùµÄ£º
? ? ? ? ?
Êý¾ÝÁ¿Ô½À´Ô½´ó£¬Î¬¶ÈÔ½À´Ô½¶à¡£ ½»»¥ÄѶÈÔ½À´Ô½´ó¡£ ¼¼ÊõÄѶÈÔ½À´Ô½´ó¡£
ÒÔÈËΪÖ÷£¬Öð²½Ïò»úÆ÷ΪÖ÷¡£
Óû§×¨Òµ³Ì¶ÈÖð²½ÌáÉý£¬Ãż÷Ô½À´Ô½¸ß¡£
ÆóÒµ¶ÔÊý¾Ý¡¢Ð§ÂÊÒªÇóµÄÖð²½Ìá¸ß£¬Ò²¸ø´óÊý¾ÝÌṩÁËÕ¹ÏÖÄÜÁ¦µÄƽ̨¡£ÆóÒµ¹¹½¨´óÊý¾Ýƽ̨£¬¹é¸ùµ½µ×Êǹ¹½¨ÆóÒµµÄÊý¾Ý×ʲúÔËÓªÖÐÐÄ£¬·¢»ÓÊý¾ÝµÄ¼ÛÖµ£¬Ö§³ÅÆóÒµµÄ·¢Õ¹¡£ ÕûÌå·½°¸Ë¼Â·ÈçÏ£º
½¨ÉèÆóÒµµÄ»ù´¡Êý¾ÝÖÐÐÄ£¬¹¹½¨ÆóҵͳһµÄÊý¾Ý´æ´¢Ìåϵ£¬Í³Ò»½øÐÐÊý¾Ý½¨Ä££¬ÎªÊý¾ÝµÄ¼ÛÖµ³ÊÏֵ춨»ù´¡¡£Í¬Ê±Êý¾Ý´¦ÀíÄÜÁ¦Ï³Á£¬½¨É輯ÖеÄÊý¾Ý´¦ÀíÖÐÐÄ£¬Ìṩǿ´óµÄÊý¾Ý´¦ÀíÄÜÁ¦£»Í¨¹ýͳһµÄÊý¾Ý¹ÜÀí¼à¿ØÌåϵ£¬±£ÕÏϵͳµÄÎȶ¨ÔËÐС£ÓÐÁËÊý¾Ý»ù´¡£¬¹¹½¨Í³Ò»µÄBIÓ¦ÓÃÖÐÐÄ£¬Âú×ãÒµÎñÐèÇó£¬ÌåÏÖÊý¾Ý¼ÛÖµ¡£ Ìáµ½´óÊý¾Ý¾Í»áÌáµ½hadoop¡£´óÊý¾Ý²¢²»µÈͬÓÚhadoop£¬µ«hadoopµÄÈ·ÊÇ×îÈÈÃŵĴóÊý¾Ý¼¼Êõ¡£ÏÂÃæÒÔ×î³£ÓõĻì´î¼Ü¹¹£¬À´¿´Ò»Ï´óÊý¾Ýƽ̨¿ÉÒÔÔõô
ͨ¹ýKafka×÷Ϊͳһ²É¼¯Æ½Ì¨µÄÏûÏ¢¹ÜÀí²ã£¬Áé»îµÄ¶Ô½Ó¡¢ÊÊÅä¸÷ÖÖÊý¾ÝÔ´²É¼¯£¨È缯³Éflume£©£¬ÌṩÁé»î¡¢¿ÉÅäÖõÄÊý¾Ý²É¼¯ÄÜÁ¦¡£
ÀûÓÃsparkºÍhadoop¼¼Êõ£¬¹¹½¨´óÊý¾Ýƽ̨×îΪºËÐĵĻù´¡Êý¾ÝµÄ´æ´¢¡¢´¦ÀíÄÜÁ¦ÖÐÐÄ£¬Ìṩǿ´óµÄÊý¾Ý´¦ÀíÄÜÁ¦£¬Âú×ãÊý¾ÝµÄ½»»¥ÐèÇó¡£Í¬Ê±Í¨¹ýsparkstreaming£¬¿ÉÒÔÓÐЧÂú×ãÆóҵʵʱÊý¾ÝµÄÒªÇ󣬹¹½¨ÆóÒµ·¢Õ¹µÄʵʱָ±êÌåϵ¡£
ͬʱΪÁ˸üºÃµÄÂú×ãµÄÊý¾Ý»ñÈ¡ÐèÇó£¬Í¨¹ýRDBMS£¬ÌṩÆóÒµ¸ß¶È»ã×ܵÄͳ¼ÆÊý¾Ý£¬Âú×ãÆóÒµ³£¹æµÄͳ¼Æ±¨±íÐèÇ󣬽µµÍʹÓÃÃż÷¡£¶Ô´óÊý¾ÝÃ÷ϸ²éѯÐèÇó£¬Ôòͨ¹ý¹¹½¨HBase¼¯Èº£¬Ìṩ´óÊý¾Ý¿ìËÙ²éѯÄÜÁ¦£¬Âú×ã¶Ô´óÊý¾ÝµÄ²éѯ»ñÈ¡Ðè
Çó¡£
Ò»°ãµÄ´óÊý¾Ýƽ̨´Óƽ̨´î½¨µ½Êý¾Ý·ÖÎö´ó¸Å°üÀ¨ÒÔϼ¸¸ö²½Ö裺 1¡¢Linuxϵͳ°²×°
Ò»°ãʹÓÿªÔ´°æµÄRedhatϵͳ--CentOS×÷Ϊµ×²ãƽ̨¡£ÎªÁËÌṩÎȶ¨µÄÓ²¼þ»ù´¡£¬ÔÚ¸øÓ²ÅÌ×öRAIDºÍ¹ÒÔØÊý¾Ý´æ´¢½ÚµãµÄʱ£¬ÐèÒª°´Çé¿öÅäÖᣱÈÈ磬¿ÉÒÔÑ¡Ôñ¸øHDFSµÄnamenode×öRAID2ÒÔÌá¸ßÆäÎȶ¨ÐÔ£¬½«Êý¾Ý´æ´¢Óë²Ù×÷ϵͳ·Ö±ð·ÅÖÃÔÚ²»Í¬Ó²ÅÌÉÏ£¬ÒÔÈ·±£²Ù×÷ϵͳµÄÕý³£ÔËÐС£ 2¡¢·Ö²¼Ê½¼ÆËãÆ½Ì¨/×é¼þ°²×°
µ±Ç°·Ö²¼Ê½ÏµÍ³µÄ´ó¶àʹÓõÄÊÇHadoopϵÁпªÔ´ÏµÍ³¡£HadoopµÄºËÐÄÊÇHDFS£¬Ò»¸ö·Ö²¼Ê½µÄÎļþϵͳ¡£ÔÚÆä»ù´¡Éϳ£ÓõÄ×é¼þÓÐYarn¡¢Zookeeper¡¢Hive¡¢Hbase¡¢Sqoop¡¢Impala¡¢ElasticSearch¡¢SparkµÈ¡£
ʹÓÿªÔ´×é¼þµÄÓŵ㣺1£©Ê¹ÓÃÕßÖڶ࣬ºÜ¶àbug¿ÉÒÔÔÚÍøÉÏÕҵĴ𰸣¨ÕâÍùÍùÊÇ¿ª·¢ÖÐ×îºÄʱµÄµØ·½£©£»2£©¿ªÔ´×é¼þÒ»°ãÃâ·Ñ£¬Ñ§Ï°ºÍά»¤Ïà¶Ô·½±ã£»3£©¿ªÔ´×é¼þÒ»°ã»á³ÖÐø¸üУ»4£©ÒòΪ´úÂ뿪Դ£¬Èç¹û³öÏÖbug¿É×ÔÓɶÔÔ´Âë×÷ÐÞ¸Äά»¤¡£
³£Óõķֲ¼Ê½Êý¾ÝÊý¾Ý²Ö¿âÓÐHive¡¢Hbase¡£Hive¿ÉÒÔÓÃSQL²éѯ£¬Hbase¿ÉÒÔ¿ìËÙ¶ÁÈ¡ÐС£ÍⲿÊý¾Ý¿âµ¼Èëµ¼³öÐèÒªÓõ½Sqoop¡£Sqoop½«Êý¾Ý´ÓOracle¡¢MySQLµÈ´«Í³Êý¾Ý¿âµ¼ÈëHive»òHbase¡£ZookeeperÊÇÌṩÊý¾Ýͬ²½·þÎñ£¬ ImpalaÊǶÔhiveµÄÒ»¸ö²¹³ä£¬¿ÉÒÔʵÏÖ¸ßЧµÄSQL²éѯ 3¡¢Êý¾Ýµ¼Èë
Ç°ÃæÌáµ½£¬Êý¾Ýµ¼ÈëµÄ¹¤¾ßÊÇSqoop¡£Ëü¿ÉÒÔ½«Êý¾Ý´ÓÎļþ»òÕß´«Í³Êý¾Ý¿âµ¼Èëµ½·Ö²¼Ê½Æ½Ì¨¡£ 4¡¢Êý¾Ý·ÖÎö
Êý¾Ý·ÖÎöÒ»°ã°üÀ¨Á½¸ö½×¶Î£ºÊý¾ÝÔ¤´¦ÀíºÍÊý¾Ý½¨Ä£·ÖÎö¡£ Êý¾ÝÔ¤´¦ÀíÊÇΪºóÃæµÄ½¨Ä£·ÖÎö×ö×¼±¸£¬Ö÷Òª¹¤×÷ʱ´Óº£Á¿Êý¾ÝÖÐÌáÈ¡¿ÉÓÃÌØÕ÷£¬½¨Á¢´ó¿í±í¡£Õâ¸ö¹ý³Ì¿ÉÄÜ»áÓõ½Hive SQL£¬Spark QLºÍImpala¡£
Êý¾Ý½¨Ä£·ÖÎöÊÇÕë¶ÔÔ¤´¦ÀíÌáÈ¡µÄÌØÕ÷/Êý¾Ý½¨Ä££¬µÃµ½ÏëÒªµÄ½á¹û¡£ÈçÇ°ÃæËùÌáµ½µÄ£¬ÕâÒ»¿é×îºÃÓõÄÊÇSpark¡£³£ÓõĻúÆ÷ѧϰËã·¨£¬ÈçÆÓËØ±´Ò¶Ë¹¡¢Âß¼»Ø¹é¡¢¾ö²ßÊ÷¡¢Éñ¾ÍøÂç¡¢TFIDF¡¢Ðͬ¹ýÂ˵ȣ¬¶¼ÒѾÔÚML libÀïÃæ£¬µ÷ÓñȽϷ½±ã¡£
5¡¢½á¹û¿ÉÊÓ»¯¼°Êä³öAPI
¿ÉÊÓ»¯Ò»°ãʽ¶Ô½á¹û»ò²¿·ÖÔʼÊý¾Ý×öչʾ¡£Ò»°ãÓÐÁ½ÖÖÇé¿ö£¬ÐÐÊý¾Ýչʾ£¬ºÍÁвéÕÒչʾ¡£