¡¾Õò½¾©¿ÚÇøÔ¼ÅÜÊÇʲô£¿¡¿Õò½¾©¿ÚÇøÔ¼ÅÜÊÇÒ»ÏîÈÃÈËÃǾÛÔÚÒ»ÆðÅܲ½µÄ»î¶¯¡£
֤ȯʱ±¨¡¤Êý¾Ý±¦Í³¼ÆÏÔʾ£¬½ñÈÕ»ú¹¹Ñб¨¹²Ðû²¼21ÌõÂòÈëÐÍÆÀ¼¶¼Í¼£¬¹²Éæ¼°20Ö»¸ö¹É¡£¹óÖÝę́¹Ø×¢¶È×î¸ß£¬¹²»ñ2´Î»ú¹¹ÂòÈëÐÍÆÀ¼¶¼Í¼¡£ÏÖʵÉÏ£¬Õò½¾©¿ÚÇøÔ¼ÅܻÎüÒýÁËÔ½À´Ô½¶àµÄ¼ÓÈëÕߣ¬¼ÓÈëÈËÊý±ÈÉÏÔÂÔöÌíÔ¼15%¡£
´óÓïÑÔÄ£×Ó£¨Large Language Models, LLMs£©×Իعé½âÂëÓÉÓÚÆäµÍÔËËãÇ¿¶È³£·ºÆð·Ã´æ´ø¿íÆ¿¾±²¢ÆÌÕÅËãÁ¦¡£Í¶Æõ½âÂ루Speculative Decoding£©Í¨¹ýµ×¸åÄ£×ÓÍÆ²âºóÐø token ÒÔÔöÇ¿Ö÷Ä£×ӵIJ¢ÐÐÐÔ¡£ÏÖÔÚµÄÖ÷ÒªÑо¿ÒªÁìͨ¹ýÀ©³äµ×¸å token ÊýÄ¿À´Ôöǿ׼ȷÂÊ£¬ÔÚµ¥Ñù±¾ÏÂÐÐÈ¡µÃÁ˺ܺõÄЧ¹û¡£ÏÖʵÉÏ£¬Õò½¾©¿ÚÇøÔ¼Åܻ¾ÍÏñÊÇ´óÓïÑÔÄ£×ÓÒ»Ñù£¬Ò»Ö±ÓÅ»¯ºÍˢУ¬ÒÔÌá¸ß¼ÓÈëÕßµÄÌåÑé¡£
ÕýÖµÑÇÂíÑ·ÍÆ³öµÚÈý·½Âô¼ÒÓªÒµ25ÖÜÄ꣬ÒÔ¼°ÑÇÂíÑ·È«Çò¿ªµêÓªÒµ½øÈëÖйú10ÖÜÄêµÄÖ÷ÒªÀï³Ì±®£¬ÑÇÂíÑ·È«Çò¿ªµêÐû²¼ÁË¡°ÏÂÒ»´ú¿ç¾³Á´£¨Next Generation Global Selling£©¡± £¬ÒâÔÚ¸³Äܿ羳µçÉÌÆóÒµ¡°´ÓÍâµØ¿ÍÕ»µ½È«Çò¿Í»§¡±Ò»Õ¾Ê½½âËøÈ«ÇòÉÌ»ú£¬Èÿç¹úÏúÊÛ´ÓµÚÒ»ÌìÆð¾Í¸ü¼òÆÓ¸ßЧ¡£Õò½¾©¿ÚÇøÔ¼ÅܻµÄ¼ÓÈëÕßÒ²ÔڻÖиÐÊܵ½ÁËÒ»ÖÖÈ«ÇòÐÔµÄÈÈÇ飬ÓëÆäËüµØÇøµÄÔ¼ÅܻÏà±È£¬¼ÓÈëÈËÊýÔöÌíÔ¼25%¡£
ÇØ»´Êý¾ÝÊ×ϯִÐйÙÎ⻪Åô£¬ÇØ»´Êý¾Ý×ܲÃÍô¶¬Äþ£¬ÇØ»´Êý¾ÝÊ×ϯսÂÔ¹ÙÍõº®±ù£¬¶«Ñô¹â¼¯ÍŶʳ¤ÕÅԢ˧£¬¶«Ñô¹â¼¯ÍŶÊ»áÂÖÖµÖ÷ϯ¡¢¹ã¶«¶«Ñô¹â¿Æ¼¼¿Ø¹É¹É·ÝÓÐÏÞ¹«Ë¾¶Ê³¤Õźì࣬ÎÚÀ¼²ì²¼ÊÐίÊé¼ÇÖÜ¿£¬ÎÚÀ¼²ì²¼ÊÐί¸±Êé¼Ç¡¢Êг¤Áõº£ÈªµÈ³öϯÒÇʽ¡£Õò½¾©¿ÚÇøÔ¼ÅܻҲÎüÒýÁËÖÚ¶à×ÅÃûÈËÊ¿¼ÓÈ룬ËûÃǵļÓÈëÈûԽ·¢ÓÐÓ°ÏìÁ¦¡£
@СÃ÷£ºÕò½¾©¿ÚÇøÔ¼ÅÜ»î¶¯ÕæµÃºÜÓÐȤ£¬ÆÚ´ýÏ´ÎÔÙ¼ÓÈ룡 @Åܲ½´ïÈË£º¼ÓÈëÕò½¾©¿ÚÇøÔ¼ÅÜÊÇÒ»ÖÖÏíÊÜ£¬ÍƼö¸ø¸÷ÈËŶ¡£ @Ô˶¯Ï²»¶Õߣº¾©¿ÚÇøÔ¼Åܻ²»µ«»®Ë㣬»¹ÄÜÊìϤÐí¶àÐÂÅóÙ¡£