¡°2025»ªÇÈ»ªÈ˹éÇȸßÌõÀíÈ˲źìÉ«ÌåÑéÖ®Âá±ÔÚÕ¿½¾ÙÐÐ ¸ÐÎò¶·Õù¾«Éñ£¬ÌåÑé·ÇÒÅ÷ÈÁ¦
ÔÚÆÚ»õÊг¡ÖУ¬Êý¾ÝµÄת±äÍðÈç¶¼»áİͷµÄÇéÐΣ¬³äÂúÁ˶¯Ì¬ºÍÎüÒýÁ¦¡£È»¶ø£¬¹ØÓÚÐí¶àͶ×ÊÕß¶øÑÔ£¬ÆÚ»õÊý¾ÝµÄÖØ´óÐԺͲ¨¶¯ÐÔ¾³£ÁîÈËÒÉÐÄ¡£ÓÈÆäÊÇÔÚ¿ìËÙÉú³¤µÄÉúÒâÇéÐÎÖУ¬¾«×¼½â¶ÁÆÚ»õÊý¾Ý£¬Ñ°ÕÒ±³ºóµÄ¼ÍÂÉ£¬¾ÍÏñ̽Ë÷¡°¹ÛɽºþÕ¾½ÖµÄÅ®ÈËÆ¯ÁÁÂð¡±ÕâÑùµÄÎÊÌ⡪¡ªÍâòÎüÒýÁ¦±³ºóÊÇ·ñÒþ²ØÉî²ã¼ÛÖµ£¿±¾ÎĽ«´ÓÆÚ»õÊý¾ÝµÄ½Ç¶ÈÇÐÈ룬չÏÖÔõÑùͨ¹ýÊý¾ÝÆÊÎö·¢Ã÷Êг¡µÄÕæÊµÃÀÓëDZÔÚΣº¦¡£
ÆÚ»õÊг¡µÄ¶¯Ì¬£ºÏñ¹ÛɽºþÒ»Ñù¶à±ä
ÆÚ»õÊг¡µÄ¼ÛÇ®²¨¶¯ÓÌÈç¹ÛɽºþµÄİͷ¾°ÎÔÚ¶Ìʱ¼äÄÚ¿ÉÒÔ±¬·¢ÖØ´óµÄת±ä¡£ÕâÖÖ¶¯Ì¬ÐÔÔ´ÓÚ¹©Ðè¹ØÏµ¡¢Íⲿ¾¼ÃÇéÐÎÒÔ¼°Í¶×ÊÕßµÄÐÄÀíÒòËØ¡£Í¶×ÊÕßÔÚÃæÁÙÕâЩת±äʱ£¬³£³£»áÎÊ£º¡°Êý¾ÝµÄ²¨¶¯ÊÇ·ñÄÜ·´Ó¦ÕæÕýµÄÊг¡¼ÛÖµ£¿¡±
ÕýÈôÓÐÈ˺ÃÒ쾰ɽºþÕ¾½ÖµÄÅ®ÈËÊÇ·ñÕæµÄƯÁÁ£¬Í¶×ÊÕßÔÚÆÚ»õÊг¡ÖÐÒ²ÐèÒªÔËÓÃÊý¾ÝÆÊÎö¹¤¾ß£¬ÈçMACDÖ¸±ê¡¢KÏßͼµÈ£¬ÉîÈëÍÚ¾òÍâòµÄ¼ÛÇ®²¨¶¯£¬Ñ°ÕÒºã¾ÃÇ÷ÊÆÓëDZÔÚʱ»ú¡£Õâ²ÅÊÇÊг¡µÄÕæÕý¡°ÃÀ¡±¡£
Êý¾ÝÆÊÎöµÄ¡°Æ¯ÁÁ¡±±ê×¼£ºÔõÑù¾«×¼²¶»ñ¼ÛÖµ
ÔÚÆÚ»õÊг¡ÖУ¬Êý¾ÝµÄ¡°Æ¯ÁÁ¡±²»µ«½öÖ¸¼ÛÇ®µÄÆéá«£¬¶øÊÇÖ¸Êý¾ÝµÄ¿É¿¿ÐÔºÍÖ¸µ¼ÒâÒå¡£ÀýÈ磬̫ͨ¹ýÎöÉúÒâÁ¿ºÍδƽ²ÖºÏÔ¼£¬¿ÉÒÔÏàʶÊг¡¼ÓÈëÕßµÄÇéÐ÷ºÍÔ¤ÆÚ¡£Õâ¾ÍÏñ¹ÛɽºþİͷµÄÉóÃÀ±ê×¼£¬²»µ«ÊÇÑÕÖµ£¬»¹°üÀ¨ÆøÖʺ͸öÐÔ¡£
Ò»¸ö³£¼ûÎóÇøÊÇ£¬²¿·ÖÐÂÊÖͶ×ÊÕßÈÝÒ×ÏÝÈë¶Ô¼òµ¥Êý¾ÝÖ¸±êµÄäĿ׷Öð¡£ÀýÈ磬½ö¹Ø×¢¼ÛÇ®¶øºöÂԳɽ»Á¿¿ÉÄܵ¼Ö¹ýʧÅжϡ£Òò´Ë£¬×ÛºÏÆÊÎö¶àά¶ÈÊý¾ÝÊDz¶»ñÆÚ»õÊг¡ÕæÕý¼ÛÖµµÄÒªº¦¡£
ÊÊÓÃСÌùÊ¿£ºÔÚÆÊÎöÆÚ»õÊý¾Ýʱ£¬ÊµÑéÁ¬Ïµºê¹Û¾¼ÃÖ¸±ê£¨ÈçGDPÔöÌíÂÊ¡¢Í¨ÕÍÂÊ£©ÓëÆÚ»õ¼ÛÇ®×ßÊÆ£¬ÒÔ×ÊÖúÅжÏÊг¡µÄºã¾ÃÇ÷ÊÆºÍ¶ÌÆÚ²¨¶¯¡£
¹ÛɽºþµÄÎüÒýÁ¦ÓëÆÚ»õÊг¡µÄͶ×ÊÐÄÀí
¹ÛɽºþµØÇøµÄÎüÒýÁ¦¿ÉÄÜȪԴÓÚÆäÆæÒìµÄ¾°ÎïºÍÆø·Õ£¬¶øÆÚ»õÊг¡µÄÎüÒýÁ¦ÔòÀ´×ÔÆä¸ß¸Ü¸ËºÍ¸ß»Ø±¨µÄDZÁ¦¡£È»¶ø£¬ÕýÈçÔÚ¹ÛɽºþİͷµÄÅ®ÈË¿ÉÄܱ£´æÉóÃÀÖ÷¹ÛÐÔ£¬ÔÚÆÚ»õÊг¡ÖУ¬Í¶×ÊÕßµÄ˽¼ûºÍÐÄÀíÒòËØÒ²»áÓ°Ïì¶ÔÊý¾ÝµÄ½â¶Á¡£
¡°×ÔÈ»Ó˵ÚÒ»¹É¡±ÉÏÊÐ ÅÌÖÐ×î¸ßÕÇ·ù³¬340% ÖйúÓËÒµÊÇÖйúºË¹¤Òµ¼¯ÍÅÓÐÏÞ¹«Ë¾µÄÖ÷Òª×ÓÆóÒµÖ®Ò»£¬×¨Òµ´ÓÊÂ×ÔÈ»Ó˺ͷÅÉäÐÔ¹²°éÉú¿ó²ú×ÊÔ´×ÛºÏʹÓÃÓªÒµ£¬±¨¸æÆÚÄÚÖ÷Òª´ÓÊÂ×ÔÈ»ÓË×ÊÔ´µÄ²ÉÒ±¡¢ÏúÊÛ¼°ÉÌÒµ£¬ÒÔ¼°¶À¾Óʯ¡¢ÓËîâ¡¢îãîêµÈ·ÅÉäÐÔ¹²°éÉú¿ó²ú×ÊÔ´×ÛºÏʹÓü°²úÆ·ÏúÊÛ£¬ÊÇÎÒ¹ú×ÔÈ»Ó˰ü¹Ü¹©Ó¦µÄ¹ú¼Ò¶Ó¡¢Ö÷Á¦¾ü£¬¼ç¸º×Å´òÔì¡°Ç¿ºË»ùʯ¡¢ºËµçÁ¸²Ö¡±µÄÀúʷʹÃü¡£
ÇéÐ÷Çý¶¯ºÍÑòȺЧӦÊÇÆÚ»õÊг¡Öеij£¼ûÕ÷Ïó£¬Êý¾Ý±³ºóÒþ²Ø×ÅͶ×ÊÕßµÄÐÄÀíת±ä¡£ÀýÈ磬µ±ÆÚ»õ¼ÛǮͻȻÉÏÕÇʱ£¬Ðí¶àÈË»áÑ¡Ôñ¸ú·çÂòÈ룬¶øºöÊÓ¿ÉÄܵÄΣº¦¡£ÕâÖÖÐÄÀíÓëÎÒÃǶԡ°¹ÛɽºþÕ¾½ÖµÄÅ®ÈËÆ¯ÁÁÂð¡±ÕâÒ»ÎÊÌâµÄÖ÷¹ÛÅжÏÓÐÒìÇúͬ¹¤Ö®´¦£¬¶¼ÊǶÔÍâòÕ÷ÏóµÄ¿ìËÙ·´Ó¦¡£
´ÓÆÚ»õÊý¾ÝÖÐѧϰ£ºÔõÑùÕÒµ½ÕæÕýµÄ¡°ÃÀ¡±
ÔÚÆÚ»õÊг¡ÖУ¬Ñ°ÕÒÕæÕýµÄʱ»úºÍ¼ÛÖµÐèҪͶ×ÊÕßÓµÓкã¾ÃµÄÄÍÐĺÍרҵµÄÆÊÎöÄÜÁ¦¡£Í¨¹ý¶ÔÊý¾ÝµÄÉî¶ÈÍÚ¾ò£¬ÎÒÃÇ¿ÉÒÔÕÒµ½ÄÇЩ¾ßÓÐDZÁ¦µÄ×ʲú£¬¶ø²»Êǽö½ö¹Ø×¢¶ÌÆÚµÄ¼ÛÇ®²¨¶¯¡£
¡°ÃçÒ©µÚÒ»¹É¡±ÀϰåÓÖ±»²éÁË£¬17ÒÚ¾À·×µÈ×ÅÐûÅÐ ÆäʱÌáµ½µÄÐÅÏ¢Åû¶覴ã¬Îª½ñÈÕÁ¢°¸ÌṩÁËÉóÔÄÅä¾°¡ª¡ªî¿ÏµÖصãÓëÀúÊ·ÂöÂçÏ໥µþ¼Ó¡£
Òªº¦ÊÖÒÕÏê½â£üÌÚѶһÄî LLM ÂþÑÜÊ½ÍÆÀíÓÅ»¯Êµ¼ù ÔÚ MLA ²¿·Ö£¬Æä×î´óÌØµãÊÇ¶Ô Kv-cache ¾ÙÐÐѹËõ£¬´Ó¶øïÔ̵¥¸ö¸±±¾ÄÚ¸÷¿¨µÄ Kv-cache Õ¼Óᣵ«ÕâÒ²´øÀ´ÐµÄÎÊÌ⣺¶à¿¨Ö®¼äµÄѹËõ CompressedKv ·ºÆðÖØ¸´£¬Ôì³ÉÏÔ´æÆÌÕÅ¡£Í¬Ê±£¬ÌØÁíÍâ Project ²Ù×÷Ò²½øÒ»²½ÔöÌíÁË¿ªÏú¡£¶ÔÓ¦µÄ½â¾ö¼Æ»®°üÀ¨È¨ÖØÎüÊÕ£¬ÒÔ¼°½ÓÄÉÈ« DP£¨Data Parallelism£©£¬¼´Ö»±£´æÒ»·Ý¸±±¾£¬×èÖ¹ÖØ¸´´æ´¢¡£
ÕâÒ»Àú³Ì¾ÍÏñ»Ø¸²¡°¹ÛɽºþÕ¾½ÖµÄÅ®ÈËÆ¯ÁÁÂð¡±ÕâÒ»ÎÊÌ⣬ÍâÔÚÃÀÖ»ÊÇÎüÒýÈ˵IJ¿·Ö£¬¶øÄÚÔÚ¼ÛÖµ²ÅÊǺã¾ÃµÄ¾öÒéÒòËØ¡£ÔÚͶ×ʾöÒéÖУ¬Êý¾ÝµÄÕæÊµÐÔ¡¢Ç÷ÊÆµÄÎȹÌÐÔÒÔ¼°Êг¡µÄDZÔÚΣº¦£¬¶¼ÊÇÐèÒªÖØµã¹Ø×¢µÄ·½Ãæ¡£
½¹µã×ܽá
¡°¹ÛɽºþÕ¾½ÖµÄÅ®ÈËÆ¯ÁÁÂð¡±ÕâÒ»ÎÊÌâÌáÐÑÎÒÃÇ£¬ÍâòµÄÎüÒýÁ¦·×Æç¶¨·´Ó¦ÄÚÔڵļÛÖµ¡£Í¬Ñù£¬ÔÚÆÚ»õÊг¡ÖУ¬¾«×¼½â¶ÁÊý¾ÝµÄ±³ºóÂß¼²Å»ªÕ¹ÏÖÕæÕýµÄͶ×Êʱ»úºÍΣº¦¡£
Ä£ÄâÓû§ÎÊ´ð
ÎÊ£ºÔõÑùͨÓâÆÚ»õÊý¾ÝÅжÏÊг¡µÄºã¾ÃÇ÷ÊÆ£¿
´ð£ºÁ¬Ïµ¶à¸öÖ¸±ê£¨Èç¼ÛÇ®×ßÊÆ¡¢³É½»Á¿¡¢Î´Æ½²ÖºÏÔ¼£©ÒÔ¼°ºê¹Û¾¼ÃÊý¾Ý¾ÙÐÐ×ÛºÏÆÊÎö£¬Í¬Ê±¹Ø×¢Êг¡ÖÐÊÇ·ñ±£´æÏÔÖøµÄ¹©Ðèת±ä»òÕþ²ßÓ°Ïì¡£
¡¾ÄÚÈÝÕ½ÂÔʦ¶´²ì¡¿
ÔÚδÀ´£¬Ëæ×ÅÈ˹¤ÖÇÄܺʹóÊý¾ÝÊÖÒյĽøÒ»²½Éú³¤£¬ÆÚ»õÊг¡µÄÊý¾ÝÆÊÎö½«Ô½·¢¾«×¼ºÍ¸ßЧ¡£Í¶×ÊÕß¿ÉÒÔͨ¹ýʵʱµÄÊý¾ÝÄ£×ÓÕ¹ÍûÊг¡Ç÷ÊÆ£¬ÉõÖÁÌáǰ¶ÔÊг¡²¨¶¯×ö³ö·´Ó¦¡£²»¹ý£¬ÕýÈç¹ÛɽºþµÄİͷÃÀ¾°ÐèÒªÇ××ÔÌåÑ飬Ͷ×ʾöÒéÒ²ÐèÒªÁ¬ÏµÈËÀàµÄÖ±¾õÓëרҵÅжϣ¬²Å»ªÕÒµ½ÕæÕýµÄ¼ÛÖµ¡£
ÕÅÑ©·å±»Í£²¥ ÍøÂçÃûÈËÕ˺ÅÓ°ÏìÁ¦´ó¡¢Éç»á¹Ø×¢¶È¸ß£¬ÔËÓªÕ߸üÓ¦×Ô¾õÒÀ·¨ÓÃÍø¡¢ÎÄÃ÷ÉÏÍø£¬¹æ·¶ÍøÉÏÑÔÐУ¬ºÏÀíʹÓÃÁ÷Á¿¡£¸÷¼¶ÍøÐŲ¿·ÖÒ»Á¬´ß´ÙÏà¹ØÍøÕ¾Æ½Ì¨ÍÆÐÐÖ÷ÌåÔðÈΣ¬½¡È«ÉçÇø¹æÔò¡¢Óû§ÐÒ飬ÔöÇ¿¶ÔÔËÓªÕߵĽÌÓýÌáÐÑ£¬ÒÀ·¨ÒÀÔ¼¿ªÕ¹Õ˺źÍÐÅÏ¢ÖÎÀíÊÂÇ飬±ÜÃâÒѲ鴦µÄÎÊÌâ·´µ¯¸´·¢¡£
ÔªÊý¾Ý
ÎÄÕÂÕªÒª£º¹ÛɽºþÕ¾½ÖµÄÅ®ÈËÆ¯ÁÁÂ𣿴ÓÕâ¸öÎüÒýÈ˵ÄÎÊÌâÒý³öÆÚ»õÊý¾ÝÆÊÎöµÄ½¹µã¼ÛÖµ¡£±¾ÆªÎÄÕÂ̽ÌÖÁËÔõÑùͨ¹ýÊý¾ÝÕ¹ÏÖÆÚ»õÊг¡µÄÕæÊµÃÀÓëDZÔÚΣº¦£¬ÒÔ×ÊÖúͶ×ÊÕß×ö³öÀíÐÔ¾öÒé¡£
½¨Òé±êÇ©£º¹ÛɽºþÕ¾½ÖµÄÅ®ÈËÆ¯ÁÁÂð, ÆÚ»õÊý¾ÝÆÊÎö, Ͷ×ÊÐÄÀí, Êý¾ÝÇý¶¯, ºê¹Û¾¼ÃÖ¸±ê