ÔÚÁ¬½ÓÄãÎÒµÄÊý×ÖÇÅÁºÖУ¬»ùÈí¼þµÄÄþ¾²ÐÔºÍÎȶ¨ÐÔÖÁ¹ØÖØÒª¡£Ëü²»µ«ÒªÈ·±£ÏµÍ³µÄ¸ßЧÔËÐУ¬»¹ÐèÒª±£»¤Óû§µÄÊý¾ÝºÍÒþ˽¡£ÏÖ´ú»ùÈí¼þÔÚÉè¼ÆÉÏÒýÈëÁ˶àÖÖÄþ¾²»úÖÆ£¬ÈçȨÏÞÖÎÀí¡¢·À»ðǽºÍ²¡?¶¾·À»¤µÈ£¬ÒÔÓ¦¶ÔÖÖÖÖÍøÂç¹¥»÷ºÍÄþ¾²Íþв¡£Í¨¹ý°´ÆÚµÄϵͳ¸üкͲ¹¶¡£¬»ùÈí¼þ²»¾øÌáÉýÆäÄþ¾²ÐÔ£¬È·±£Óû§Êý¾ÝµÄÄþ¾²¡£
È˹¤ÖÇÄÜÓë´óÊý¾ÝµÄÈںϣºÎ´À´»ùÈí½«Ô½·¢×¢ÖØÓëÈ˹¤ÖÇÄܺʹóÊý¾Ý¼¼ÊõµÄÈںϣ¬Í¨¹ýÖÇÄÜ»¯µÄÊý¾Ý´¦ÀíºÍÆÊÎö£¬ÌáÉýϵͳµÄ×Ô¶¯»¯ºÍÖÇÄÜ»¯Ë®Æ½¡£
ÔÆÅÌËãÓë±ßÑØÅÌËãµÄ½áºÏ£ºÔÆÅÌËãºÍ±ßÑØÅÌË㽫³ÉΪδÀ´»ùÈíÉú³¤µÄÖ÷ҪƫÏò¡£Í¨¹ý½«ÅÌËã×ÊÔ´¸üÁé»îµØ·ÖÅÉ£¬¿ÉÒÔ´ó´óÌáÉýϵͳµÄÏìÓ¦ËٶȺʹ¦ÀíÄÜÁ¦¡£
Çø¿éÁ´¼¼ÊõµÄÓ¦ÓãºËæ×ÅÇø¿éÁ´¼¼ÊõµÄ³ÉÊ죬»ùÈí½«ÔÚÊý¾Ý´æ´¢ºÍ´«ÊäµÄÄþ¾²ÐÔ·½Ãæ·¢»Ó¸ü´óµÄ×÷Óã¬È·±£Êý¾ÝÔÚ´«ÊäÀú³ÌÖеÄÕæÊµÐԺͲ»¿É¸Ä¶¯ÐÔ¡£
Ëæ×ÅÉ豸µÄ?²»¾øÔö¼Ó£¬»ù´¡Èí¼þÐèÒª¾ß±¸Ô½·¢¸ßЧµÄ¿ÉÀ©Õ¹ÐÔ£¬ÒÔÓ¦¶Ôº£Á¿Êý¾ÝµÄ´¦ÀíÐèÇó¡£ÕâÒªÇó»ù´¡Èí¼þÄܹ»ÔÚ¶àÉ豸¡¢¶àÓû§µÄÇé¿öϸßЧÔËÐУ¬²¢Äܹ»×ÔÎÒÓÅ»¯ÒÔÊÊÓ¦²»¾ø±ä¸ïµÄÐèÇó¡£ÀýÈ磬ͨ¹ýÂþÑÜʽÅÌËã¡¢ÔÆÅÌËãµÈ¼¼Êõ£¬»ù´¡Èí¼þ¿ÉÒÔʵÏÖÔ½·¢¸ßЧµÄÊý¾Ý´¦ÀíºÍ´æ´¢¡£
ÔÆÅÌËãµÄÆÕ¼°£¬ÕýÔڸıä¹Å°åµÄ»ù´¡Èí¼þ¼Ü¹¹¡£Í¨¹ýÔÆÅÌË㣬»ù´¡Èí¼þ¿ÉÒÔʵÏÖÔ½·¢¸ßЧµÄ×ÊÔ´ÀûÓúÍЧÀÍÌṩ¡£ÔÆÅÌËãÆ½Ì¨ÌṩµÄµ¯ÐÔÅÌËã×ÊÔ´£¬Ê¹µÃÎÒÃÇ¿ÉÒÔÆ¾¾Ýʵ¼ÊÐèÇó¶¯Ì¬µ÷½âÅÌËã×ÊÔ´£¬´Ó¶ø½µµÍ±¾Ç®£¬Ìá¸ßЧÂÊ¡£
ÀýÈ磬ÔÚ´óÊý¾ÝÆÊÎöÖУ¬Í¨¹ýÔÆÅÌËãÆ½Ì¨£¬¿ÉÒÔ°´Ðè·ÖÅÉÅÌËã×ÊÔ´£¬ÊµÏÖ¸ßЧµÄÊý¾Ý´¦ÀíºÍÆÊÎö¡£ÔÚÆóÒµÓ¦ÓÃÖУ¬Í¨¹ýÔÆÅÌË㣬ÆóÒµ¿ÉÒÔ¿ìËÙ°²ÅźÍÀ©Õ¹ÖÖÖÖÒµÎñÓ¦Óã¬Ìá¸ßÒµÎñÏìÓ¦ËٶȺÍÁé»îÐÔ¡£
ÌáÉý¼¼Êõˮƽ£º¸ã»ùÈí¼þ²»µ«ÐèÒªÉîºñµÄ¼¼Êõ¹¦µ×£¬»¹ÐèÒª²»¾øÑ§Ï°ºÍÁ¢Ò졣ͨ¹ý¼ÓÈë»ùÈí¿ª·¢£¬¸öÈË¿ÉÒÔ²»¾øÌáÉý×Ô¼ºµÄ¼¼Êõˮƽ£¬ÕÆÎÕ×îеļ¼ÊõÇ÷ÊÆºÍ¹¤¾ß¡£
ÍØÕ¹Ö°ÒµÊ±»ú£ºËæ×ÅÊý×Ö»¯Ê±´úµÄµ½À´£¬¶Ô¸ßˮƽ»ùÈí¹¤³ÌʦµÄÐèÇóÈÕÒæÔö¼Ó¡£¸ã»ùÈí¼þµÄÈ˲ÅÔÚÊг¡ÉÏÓÐ×ÅÁÉÀ«µÄÉú³¤Ç°¾°£¬Ö°ÒµÊ±»úÒ²Ô½·¢¶àÑùºÍ¸»ºñ¡£
ʵÏÖ¸öÈ˼ÛÖµ£ºÍ¨¹ý¸ã»ùÈí¼þ£¬¸öÈËÄܹ»ÊµÏÖ¼¼ÊõÁ¢Òì£¬ÍÆ¶¯Éç»á½ø²½£¬´Ó¶øÊµÏÖ×ÔÉíµÄ¼ÛÖµ¡£ÎÞÂÛÊÇÔÚ¿ÆÑлú¹¹¡¢Èí¼þ¹«Ë¾ÕվɯóÒµ£¬¸ã»ùÈí¼þµÄÊÂÇé¶¼Äܹ»ÈÃÈ˸ÐÊܵ½³É¼¨¸ÐºÍÂú×ã¸Ð¡£
ÂþÑÜʽÅÌËã¿ò¼ÜÊÇ»ù´¡Èí¼þÔÚ´óÊý¾ÝºÍÔÆÅÌËãÁìÓòµÄÖØÒªÁ¢Ò졣ͨ¹ýÂþÑÜʽÅÌËã¿ò¼Ü£¬ÎÒÃÇ¿ÉÒÔ½«ÅÌËãÈÎÎñ·ÖÅɵ½¶à¸ö½ÚµãÉϲ¢?Ðд¦Àí£¬´ó´óÌá¸ßÁËÅÌËãЧÂʺʹ¦ÀíÄÜÁ¦¡£ÀýÈ磬ApacheHadoopºÍApacheSparkƽÂþÑÜʽÅÌËã¿ò¼Ü£¬¾ÍÊÇ»ù´¡Èí¼þÔÚ´óÊý¾ÝÁìÓòµÄ?ÖØÒªÁ¢Òì¡£
ÖÇÄÜ»¯Éú³¤£ºÎ´À´µÄ»ù´¡Èí¼þ½«Ô½·¢ÖÇÄÜ»¯£¬ÀûÓÃÈ˹¤ÖÇÄܼ¼Êõ£¬ÊµÏÖ×ÔÎÒÐÞ¸´¡¢×ÔÎÒÓÅ»¯£¬Ìá¸ßϵͳµÄÄþ¾²ÐԺͿɿ¿ÐÔ¡£
ÔÆÅÌËãµÄÆÕ¼°£ºËæ×ÅÔÆÅÌËãµÄÆÕ¼°£¬»ù´¡Èí¼þ½«ÔÚÔÆÇé¿öÖз¢»Ó¸ü´óµÄ×÷Óá£ÔÆ»ù´¡Èí¼þ½«Ìṩ¸ü¸ßЧ¡¢¸üÁé»îµÄÅÌËã×ÊÔ´£¬Ö§³Ö¸ü¶àµÄÊý×ÖЧÀÍ¡£
ÎïÁªÍøµÄÈںϣºÎïÁªÍøÉ豸µÄÆÕ¼°½«Îª»ù´¡Èí¼þ´ø?À´ÐµÄÌôÕ½ºÍ»úÔµ¡£»ù´¡Èí¼þÐèÒªÖ§³Ö¸ü¶àµÄÉ豸?Á¬½ÓºÍÊý¾Ý´¦Àí£¬ÒÔ¼°ÌṩԽ·¢Äþ¾²ºÍ¸ßЧµÄÍøÂçÐÒé¡£
È«Çò»¯Ð×÷£ºÎ´À´£¬»ù´¡Èí¼þµÄ¿ª·¢½«Ô½·¢È«Çò»¯£¬¿ç¹úÍŶӵÄÐ×÷½«³ÉΪ³£Ì¬¡£Õ⽫Ôö½ø¼¼ÊõµÄ½»Á÷ºÍÈںϣ¬Íƶ¯»ù´¡Èí¼þµÄ¸ü¿ìËÙÉú³¤¡£
ͨ¹ý²»¾øÁ¢ÒìºÍÓÅ»¯£¬»ù´¡Èí¼þ½«¼ÌÐøÎªÎÒÃǵÄÊý×ÖÉú»îÌṩ¼áʵµÄÖ§³Ö£¬Íƶ¯Éç»áµÄ½ø²½ºÍÉú³¤¡£ÎÞÂÛÄãÊǼ¼Êõ¿ª·¢ÈËÔ±ÕվɯÕͨÓû§£¬Àí½âºÍÖØÊÓ»ù´¡Èí¼þµÄ×÷Ó㬶¼½«ÓÐÖúÓÚÎÒÃǸüºÃµØÓ¦¶ÔδÀ´µÄÌôÕ½£¬ÏíÊÜÊý×Ö»¯´øÀ´µÄ?±ãµ±ºÍ¸£ìí¡£