СÐò£ºÐ¡Ïï×ÓÄÜ¿´³ö¶¼»áµÄ¡°Âö²«¡±Âð£¿
Õâô˵°É£¬¶¼»áµÄÉú³¤×ÜÊDzØÔÚϸ½ÚÀï¡£ËÞǨ£¬Ò»¸öµÍµ÷ÓÖ³äÂú¹Êʵĵط½£¬ËüµÄ¶¼»áÃæÄ¿´Ó»ð³µÕ¾µ½Ïï×ÓÀï¶¼ÔÚÇÄÇıäÑù¡£ÀÏ»ð³µÕ¾ºóÃæµÄÏï×Ó£¬¿ÉÄÜÄã²»¾Òâ¼ä×ß¹ý£¬È´Ã»Òâʶµ½Ëü¼ûÖ¤ÁËËÞǨµÄ±äǨ¡£×î½ü£¬Ô½À´Ô½¶àÈËºÃÆæ£ºËÞǨÀÏ»ð³µÕ¾ºóÃæÏï×Ó½Ðʲô£¿¿´ËƼòÆÓµÄÒ»¸öÎÊÌ⣬×ÅʵÊÇ·¿ª¶¼»áÀúÊ·ºÍÐÐÇéÆÊÎöµÄ´óÃŵÄÒ»°ÑÔ¿³×¡£
ËÞǨÀÏ»ð³µÕ¾ºóÃæÏï×ӵĹÊÊ£º´ÓÒÑÍùµ½ÏÖÔÚ
ÎÒÃÇÎÞ·ÁÕâÑùÀ´¿´£¬ËÞǨ×÷ΪËÕ±±µØÇøµÄÒ»¿Å¡°ÒþÐÎÃ÷Ö顱£¬ËüµÄÀÏ»ð³µÕ¾ÔøÊÇÕâ×ù¶¼»áµÄ½»Í¨ÊàŦ£¬Ò²ÊǾ¼ÃÁ÷ͨµÄÖ÷Òª½Úµã¡£»ð³µÕ¾ºóÃæµÄСÏ¡ªËäÈ»Ãû×Ö²¢²»ÏÔºÕ£¬È´³ÐÔØÁËÐí¶àËÞǨÈ˵ÄÓ°Ïó¡£´Ó¶¼»á½¨ÉèµÄ½Ç¶È¿´£¬ÕâЩСÏïµÄ±£´æ£¬ÍùÍùÊǽ»Í¨¡¢ÉÌÒµºÍסÃñÉúÑĽ»»ãµÄÏóÕ÷¡£
12ÔÂ2ÈÕ£¬ÓÐÓÑʳÎïͨ¸æÏÔʾ£¬Êµ¿ØÈ˹ÓÐÖÒµÄÒ»ÖÂÐиÐÈË¡¢ÆäµÜ¹ÓÐÃ÷ÍýÏë¼õ³Ö²»³¬110Íò¹É£¨Õ¼×ܹɱ¾0.26%£©£¬°´×îÐÂÊÕÅ̼۲âËãÌ×ÏÖÔ¼1460.8ÍòÔª£¬¼õ³ÖÔµ¹ÊÔÓÉϵСÎÒ˽¼Ò×ʽðÐèÇó¡£ÖµµÃ×¢ÖØµÄÊÇ£¬´Ëʱ¾à¹«Ë¾Íê³É¶Ê»ỻ½ì½öÔÂÓࡪ¡ª70ËêµÄ¹ÓÐÖÒжÈμæÈεÄ×Ü˾Àí£¬ÁôÈζʳ¤£¬ÆäÖ¶×Ó¹ÓνӰô×Ü˾Àí£¬Å®¶ù¹ÐÂÔòÍ˳ö¶Ê»ᡣ¾ÝϤ£¬ÕâÒ»ÐÂÎÅÔÚÍâµØÒý·¢²»ÉÙÌÖÂÛ£¬ÉõÖÁÓÐÈËÌá¼°ËÞǨÀÏ»ð³µÕ¾ºóÃæÏï×Ó½ÐʲôµÄÎÊÌ⣬ÕâËÆºõ³ÉΪÁËסÃñ¼äµÄÈÈÃÅ»°Ìâ¡£
ËÞǨÀÏ»ð³µÕ¾ºóÃæµÄСÏÓÐÈ˳ÆËüΪ¡°Õ¾ºó·¡±£¬Ò²ÓÐÈËÖ±½Ó½ÐËü¡°ºóÏï×Ó¡±¡£ÈôÊÇÄãÎÊÍâµØÈË£¬ËûÃÇ¿ÉÄÜ»á¸æËßÄ㣬ÕâÀïÒ»¾ÊÇСÉÌÆÌÔú¶ÑµÄµØ·½£¬ÂôÔçµã¡¢ÐÞЬ¡¢¿ªÐ¡·¹µê¡¡¼òÆÓÓÖ½ÓµØÆø¡£ÏÖÔÚ£¬Ëæ×ÅËÞǨÉú³¤µÄÌáËÙ£¬ÕâЩÏï×ÓÒ²×îÏÈÃæÁÙ¸üÐÂˢУ¬Ò»Ð©ÀϵêËÁÖð½¥»»³ÉÁËÏÖ´ú»¯µÄÃÅÃæ£¬µ«ÒÀÈ»ÄܸÐÊܵ½ËÈ˾Éʱ´úµÄζȡ£
ÐÐÇéÆÊÎö£ºÐ¡Ïï×ÓÕÛÉäµÄËÞǨÉú³¤Ç÷ÊÆ
Õâô¶àÄêÏÂÀ´£¬Ïï×ÓÀïµÄת±ä×ÅʵÊÇËÞǨÉú³¤µÄËõÓ°¡£ÏëÏë¿´£¬»ð³µÕ¾ÖܱߵĵØÀíλÖã¬ÍùÍùÊǶ¼»áÍýÏëµÄÖØµã£¬Ïï×ӵľ¼Ã»îÁ¦ºÍÉÌÒµ½á¹¹Ò²ÔÚÒ»¶¨Ë®Æ½ÉÏ·´Ó¦ÁËËÞǨ¶¼»áÐÐÇéµÄת±ä¡£
´ÓͶ×ʽǶȿ´£¬ÀÏ»ð³µÕ¾ºóÃæµÄÏï×Ó¿ÉÄܲ»ÊÇ×î¡°¸ß¶Ë¡±µÄµØ¶Î£¬µ«ËüÈ´ÊÇ¿¿½üÕæÊµÉúÑĵĵط½¡£´ÓСÉÌÆÌµ½ÃñËÞ£¬ÔÙµ½ÌØÉ«²ÍÒû£¬ÕâÀïµÄÉÌÒµÐÎ̬һֱµ÷½â£¬ÕâÖÖÎÞаÐÔÕýÊÇСÏï×ÓµÄÒ»´óÌØÉ«¡ª¡ªË³Ó¦Êг¡ÐèÇ󣬽ô¸ú¶¼»áÉú³¤¡£
´óÓïÑÔÄ£×Ó£¨Large Language Models, LLMs£©×Իعé½âÂëÓÉÓÚÆäµÍÔËËãÇ¿¶È³£·ºÆð·Ã´æ´ø¿íÆ¿¾±²¢ÆÌÕÅËãÁ¦¡£ÔÚÑо¿ËÞǨÀÏ»ð³µÕ¾ºóÃæÏï×Ó½ÐʲôµÄÀú³ÌÖУ¬Í¶Æõ½âÂ루Speculative Decoding£©Í¨¹ýµ×¸åÄ£×ÓÍÆ²âºóÐø token ÒÔÔöÇ¿Ö÷Ä£×ӵIJ¢ÐÐÐÔ¡£ÏÖÔÚµÄÖ÷ÒªÑо¿ÒªÁìͨ¹ýÀ©³äµ×¸å token ÊýÄ¿À´Ôöǿ׼ȷÂÊ£¬ÔÚµ¥Ñù±¾ÏÂÐÐÈ¡µÃÁ˺ܺõÄЧ¹û¡£ºÃ±È£¬Ì½Ë÷ËÞǨÀÏ»ð³µÕ¾ºóÃæÏï×Ó½Ðʲôʱ£¬Ä£×ÓµÄÐÔÄÜÓÅ»¯ÏÔµÃÓÈΪÖ÷Òª¡£
ÊÊÓÃСÌùÊ¿£ºÈôÊÇÄãÏëÏàʶÏï×ÓµÄÏêϸÇéÐΣ¬¿ÉÒÔ´ÓµØÍ¼Èí¼þ×ÅÊÖ£¬ºÃ±È°Ù¶ÈµØÍ¼»ò¸ßµÂµØÍ¼ËÑË÷¡°ËÞǨÀÏ»ð³µÕ¾¡±£¬ÔÙϸϸ̽Ë÷Öֵܱ߽À¡£»¹¿ÉÒÔ×ÉѯÍâµØ×¡Ãñ£¬ËûÃÇÍùÍùÖªµÀÏï×ÓµÄ×îж¯Ì¬ºÍÃû×Ö¡£
×îºó£ºÏï×ÓµÄÃû×Ö£¬±³ºóµÄÒâÒå
ËÞǨÀÏ»ð³µÕ¾ºóÃæÏï×Ó½Ðʲô£¿Õâ¸öÎÊÌâµÄÃÕµ×»òÐí²¢²»Ö÷Òª£¬Ö÷ÒªµÄÊÇ£¬ËüÈÃÎÒÃÇ¿´µ½ÁËÒ»¸ö¶¼»áµÄÓ°ÏóºÍÉú³¤½Ú×à¡£ÕâЩ²»ÆðÑÛµÄСÏ»òÐíÊÇËÞǨ¾¼ÃתÐ͵ÄÒ»¸öССËõÓ°£¬Ò²ÊÇÒ»ÕÅͨÍù¶¼»áÀúÊ·µÄÃÅÆ±¡£
¶ÁÕßÎÊ´ð£ºÎªÊ²Ã´Ðí¶à¶¼»áµÄ»ð³µÕ¾Öܱ߶¼ÓÐÀÏÏï×Ó£¬ËüÃÇÓÐÊ²Ã´ÌØÊâÖ®´¦£¿
»Ø¸²£º»ð³µÕ¾ÖܱߵÄÀÏÏï×Óͨ³£ÔøÊǶ¼»áÔçÆÚµÄ½»Í¨ºÍÉÌÒµ½¹µã¡£ÓÉÓÚÈËÁ÷¼¯ÖУ¬Ïï×ÓÉú³¤ÎªÐ§ÀÍÐÍÉÌÆÌµÄȺ¼¯µØ¡£ËäȻʱ´ú±äǨ£¬ËüÃÇ¿ÉÄܱ»Ë¢Ð¡¢ÖØÐÞ£¬µ«ÒÀÈ»³ÐÔØ×Ŷ¼»áÉú³¤µÄÂöÂçºÍ¹ÊÊ¡£
Òªº¦´Ê±êÇ©£ºËÞǨÀÏ»ð³µÕ¾ºóÃæÏï×Ó½Ðʲô, ËÞǨÀúÊ·, ¶¼»áÐÐÇéÆÊÎö, »ð³µÕ¾¾¼Ã, Ïï×Ó¹ÊÊÂ