ÔÚÊý×Ö»¯¾¼Ã¼ÓËÙÉú³¤µÄÅä¾°Ï£¬ÐÐÒµÊý¾ÝÆÊÎöÒѳÉΪÆóÒµ¾öÒéµÄÖ÷ÒªÖ§Öù¡£È»¶ø£¬Ðí¶àÆóÒµÔÚÊý¾ÝÆÊÎöʵ¼ùÖг£Óöµ½µÄÎÊÌâÊÇ£ºÔõÑù´Óº£Á¿Êý¾ÝÖÐÌáÁ¶Òªº¦¶´²ì¡¢ÓÅ»¯Á÷³Ì²¢ÌáÉýÖ´ÐÐЧÂÊ£¿½â¾öÕâЩÎÊÌâµÄ½¹µãÔÚÓÚÑ¡ÔñÊʵ±µÄÆÊÎöÒªÁìºÍ¹¤¾ßÀ´¡°ÍÆÄá±Êý¾Ý¡£½ñÌ죬ÎÒÃǽ«Í¨¹ý¡°ËĸöÍÆÄá±ÕâÒ»ÆæÒìÊӽǣ¬Ì½ÌÖÐÐÒµÊý¾ÝÆÊÎöµÄÒªº¦»úÖÆÓë×î¼Ñʵ¼ù¡£
Ò»¡¢ ʲôÊÇ¡°ËĸöÍÆÄ᱿´·¨£¿
¡°ËĸöÍÆÄá±ÊÇÒ»ÖÖÐÎÏ󻯵ıÈÓ÷£¬ÒâÔÚÐÎòÊý¾ÝÆÊÎöÀú³ÌÖеÄËĸö½¹µã°ì·¨£ºÊý¾ÝÕûÀí¡¢Êý¾ÝÕûºÏ¡¢Êý¾Ý½¨Ä£ºÍÊý¾ÝÓÅ»¯¡£ÓÌÈçÍÆÄÃʦͨ¹ýÈàÄóÈÃÈËÌ弡Èâ»Ö¸´ÉúÁ¦£¬ÐÐÒµÊý¾ÝµÄ¡°ËĸöÍÆÄá±»·½ÚÄܹ»×ÊÖúÆóÒµÊÍ·ÅÊý¾ÝµÄDZÁ¦£¬ÊµÏÖ´ÓÔÓÂÒÊý¾Ýµ½¾«×¼¶´²ìµÄת»¯¡£
ÔÚÐÐÒµÊý¾ÝÆÊÎöÖУ¬ºöÊÓÈκÎÒ»¸ö¡°ÍÆÄá±°ì·¨¶¼¿ÉÄܵ¼ÖÂÐÅÏ¢Ê§Õæ»ò¾öÒéʧÎó¡£ÒÔÏÂÊÇÿ¸ö°ì·¨µÄϸ»¯ÆÊÎö£º
1. Êý¾ÝÕûÀí£ºÏû³ýÔëÒô£¬¾«»¯»ù´¡
Êý¾ÝÕûÀíÊÇÐÐÒµÊý¾ÝÆÊÎöµÄµÚÒ»²½£¬Ò²ÊÇ¡°ËĸöÍÆÄᱵĻù´¡¡£Ëü°üÀ¨È¥³ýÖØ¸´¡¢´¦Öóͷ£È±Ê§ÖµÒÔ¼°¾ÀÕý¹ýʧÊý¾ÝµÈÀú³Ì¡£ÕûÀíºóµÄÊý¾Ý²»µ«¸ü¾ß¿ÉÐŶȣ¬»¹¿ÉÒÔÏÔÖøÌáÉýºóÐø´¦Öóͷ£µÄ׼ȷÐÔ¡£ÀýÈ磬ÔÚµçÉÌÐÐÒµÊý¾ÝÆÊÎöÖУ¬ÕûÀíÀú³Ì¿ÉÄÜÉæ¼°É¾³ýÖØ¸´µÄ¿Í»§¹ºÖüͼ»òÌî²¹ÉúÒâÊý¾ÝÖеĿÕȱ¡£
ÊÊÓÃСÌùÊ¿£ºÊ¹ÓÃ×Ô¶¯»¯Êý¾ÝÕûÀí¹¤¾ß£¨ÈçOpenRefine»òPandas¿â£©¿ÉÒÔïÔÌÈ˹¤²Ù×÷ʱµÄʱ¼äÏûºÄ£¬Í¬Ê±½µµÍÍÉ»¯ÂÊ¡£
2. Êý¾ÝÕûºÏ£º¿çƽ̨ͳһÊÓͼ
Ëæ×ÅÊý¾ÝȪԴµÄ¶àÑù»¯£¨ÈçÉ罻ýÌå¡¢µçÉÌÆ½Ì¨¡¢ÏßÏÂÃŵêÊý¾ÝµÈ£©£¬Êý¾ÝÕûºÏ³ÉΪ¡°ËĸöÍÆÄá±ÖеÄÖ÷Òª»·½Ú¡£Í¨¹ýÕûºÏÀ´×Ô¶à¸öÇþµÀµÄÊý¾Ý£¬ÆóÒµÄܹ»¹¹½¨Ò»¸öͳһµÄÊÓͼ¡£ÀýÈ磬ÕûºÏ¿Í»§·´ÏìÊý¾ÝºÍÏúÊÛÇ÷ÊÆÊý¾Ý£¬¿ÉÒÔ×ÊÖúÆóҵʶ±ðÏûºÄÕ߯«ºÃµÄת±ä¡£
¹ØÓÚÐÐÒµÊý¾ÝÆÊÎöÀ´Ëµ£¬ÕûºÏÀú³Ì²»µ«ÐèÒªÊÖÒÕÖ§³Ö£¬»¹ÐèÒª¶ÔÊý¾ÝÂß¼µÄÉî¿ÌÃ÷È·£¬ÒÔÈ·±£¶àÔ´Êý¾ÝÖ®¼äµÄ¼æÈÝÐÔ¡£
3. Êý¾Ý½¨Ä££ºÕ¹ÍûÓëÓÅ»¯µÄ»ùʯ
Êý¾Ý½¨Ä£Êǽ«ÕûÀíÓëÕûºÏºóµÄÊý¾Ýת»¯Îª¿É²Ù×÷¶´²ìµÄÒªº¦°ì·¨¡£Í¨¹ý¹¹½¨»úеѧϰģ×Ó»òͳ¼ÆÄ£×Ó£¬ÆóÒµ¿ÉÒÔÕ¹ÍûδÀ´Ç÷ÊÆ¡¢·¢Ã÷ÒþÐÔ¼ÍÂÉ¡£ÀýÈ磬ÔÚÎïÊ¢ÐÐÒµ£¬Í¨¹ý½¨Ä£¿ÉÒÔÕ¹Íû²î±ðÏß·µÄÔËÊäʱ¼ä£¬½ø¶øÓÅ»¯×ÊÔ´·ÖÅÉ¡£
½¨Ä£Ê±Ðè×¢ÖØÑ¡ÔñºÏÊʵÄËã·¨ºÍ²ÎÊý£¬ÒÔÖª×ãÐÐÒµÌØ¶¨ÐèÇ󣬶ø²»ÊÇÌ×ÓÃͨÓÃÒªÁì¡£
4. Êý¾ÝÓÅ»¯£ºÒ»Á¬µü´ú£¬ÌáÉýЧÂÊ
×îºóÒ»¸ö¡°ÍÆÄá±°ì·¨ÊÇÊý¾ÝÓÅ»¯£¬ËüÇ¿µ÷µÄÊÇÒ»Á¬Ë¢ÐÂÊý¾Ý´¦Öóͷ£ÒªÁìºÍÆÊÎö¹¤¾ß£¬ÒÔ˳Ӧ¶¯Ì¬×ª±äµÄÐÐÒµÇéÐΡ£ÀýÈ磬ͨ¹ýÓÅ»¯Êý¾ÝËã·¨£¬¿ÉÒÔʵʱÌáÉý¿â´æÖÎÀíµÄ¾«×¼ÐÔ£¬ÈÃÆóÒµïÔÌÆÌÕŲ¢¿ìËÙÏìÓ¦Êг¡ÐèÇó¡£
Êý¾ÝÓÅ»¯²»µ«ÊÇÊÖÒյĵü´ú£¬¸üÊÇÆÊÎöÍ·ÄÔµÄÉý¼¶¡£Ò»¸öϸÄ廯µÄÓÅ»¯Àú³ÌÍùÍùÄܹ»×ÊÖúÆóÒµÓ®µÃÊý¾ÝÆÊÎöÕ½³¡ÉϵÄÓÅÊÆ¡£
¶þ¡¢ ÔõÑùȨºâ¡°ËĸöÍÆÄá±µÄÐÐÒµ¼ÛÖµ£¿
ÐÐÒµÊý¾ÝÆÊÎöµÄ×îÖÕÄ¿µÄÊÇΪ¾öÒéÌṩ֧³Ö£¬¶ø¡°ËĸöÍÆÄá±Àú³ÌµÄ˳³©Óë·ñÖ±½ÓÓ°ÏìÆÊÎöЧ¹ûµÄÖÊÁ¿¡£ÐÐÒµÊý¾ÝÏÔʾ£¬Ô¼70%µÄÆóÒµÔÚÊý¾ÝÆÊÎöÖÐÒòºöÊÓijһÖ÷Òª»·½Ú¶øµ¼ÖÂÐÅÏ¢Ê§Õæ»ò¶´²ìȱ·¦Éî¶È¡£
³£¼ûÎóÇø£ºÐí¶àÆóÒµ¹ýÓÚÒÀÀµÊý¾Ý½¨Ä££¬ºöÂÔÁËÊý¾ÝÕûÀíÓëÕûºÏµÄ»ù´¡ÐÔÊÂÇé¡£ÕâÖÖ¡°Éá±¾ÖðÄ©¡±ÍùÍù»áÈÃÄ£×Ó´øÀ´Îó²î¡£
Èý¡¢ ̽Ë÷¡°ËĸöÍÆÄá±±³ºóµÄʱ»ú
δÀ´£¬Ëæ×ÅÊý¾ÝÆÊÎöÊÖÒÕµÄÒ»Ö±Éú³¤£¬¡°ËĸöÍÆÄá±Àú³Ì½«Ô½·¢ÖÇÄÜ»¯Óë×Ô¶¯»¯¡£ÀýÈ磬ͨ¹ýÈ˹¤ÖÇÄÜÊÖÒÕ£¬Êý¾ÝÕûÀíºÍÕûºÏ°ì·¨¿ÉÒÔʵÏÖʵʱ´¦Öóͷ££¬¶ø½¨Ä£ÓëÓÅ»¯ÔòÄܹ»Í¨¹ýÈ«×Ô¶¯»¯Ë㷨ʵÏÖ×ÔÎÒµü´ú¡£ÕâÖÖÉú³¤½«½øÒ»²½ÌáÉýÐÐÒµÊý¾ÝÆÊÎöµÄЧÂÊÓë׼ȷÐÔ£¬ÎªÆóÒµ´´Á¢¸ü¶à¼ÛÖµ¡£
½¹µã×ܽá
¡°ËĸöÍÆÄá±ÔÚÐÐÒµÊý¾ÝÆÊÎöÖÐÊÎÑÝ×ÅÖÁ¹ØÖ÷ÒªµÄ½ÇÉ«£¬´ÓÊý¾ÝÕûÀíµ½ÓÅ»¯£¬¹á´®ÁËÕû¸öÆÊÎöÁ÷³Ì£¬×ÊÖúÆóÒµÍÚ¾òÉî¶È¶´²ì²¢ÓÅ»¯¾öÒéЧÂÊ¡£
Ä£ÄâÓû§ÎÊ´ð
Óû§ÌáÎÊ£º¡°ÈôÊÇÆóÒµÊý¾ÝÈªÔ´ÌØÊâÖØ´ó£¬¡®ËĸöÍÆÄ᯵ÄÄÄÒ»»·½Ú×îÖ÷Òª£¿¡±
½â´ð£ºÊý¾ÝÕûºÏ»·½ÚÖÁ¹ØÖ÷Òª£¬ÓÉÓÚËü¿ÉÒÔ×ÊÖúÆóҵͳһÊÓͼ£¬Í»ÆÆ¹ÂµºÐ§Ó¦£¬ÎªºóÐøÆÊÎö´òϼáʵ»ù´¡¡£
±àÕß¶´²ì
¡¾ÄÚÈÝÕ½ÂÔʦ¶´²ì¡¿Ëæ×ÅÐÐÒµÊý¾ÝÆÊÎöµÄÊÖÒÕÑݽø£¬¡°ËĸöÍÆÄá±ÖеÄÊý¾ÝÕûÀíºÍÓÅ»¯»·½Ú½«³ÉΪδÀ´µÄÖØµãÍ»ÆÆÁìÓò¡£Í¨¹ýÒýÈë×Ô¶¯»¯ÊÖÒÕÓëÇø¿éÁ´ÊÖÒÕ£¬ÆóÒµ¿ÉÒÔÌáÉýÊý¾ÝÕûÀíµÄ͸Ã÷ÐÔÓëЧÂÊ£¬½øÒ»²½Íƶ¯ÐÐÒµ±ê×¼»¯£¬Ç㸲¹Å°åÊý¾ÝÆÊÎöģʽ¡£
ÔªÊý¾Ý
ÎÄÕÂÕªÒª£º±¾ÎÄ´Ó¡°ËĸöÍÆÄá±ÊÓ½ÇÉîÈëÆÊÎöÐÐÒµÊý¾ÝÆÊÎöµÄÒªº¦»úÖÆ£¬ÏêϸÏÈÈÝÁËÊý¾ÝÕûÀí¡¢ÕûºÏ¡¢½¨Ä£ºÍÓÅ»¯ËÄ´ó»·½Ú£¬×ÊÖúÆóÒµÔÚÊý¾Ý´¦Öóͷ£ÖÐʵÏÖ¾«×¼¶´²ìÓëЧÂÊÌáÉý¡£
½¨Òé±êÇ©£ºÐÐÒµÊý¾ÝÆÊÎö, ËĸöÍÆÄÃ, Êý¾ÝÕûÀí, Êý¾ÝÓÅ»¯, Êý¾Ý½¨Ä£