ÕãÉÌ֤ȯ£ºÈßÓàʱ¿Ì»¹Î´¿¢Ê ĿµÄÎȹ̡¢ÊØÖê´ýÍà ±¾ÖÜ£¨2025-12-01 ÖÁ2025-12-05£©ÐÐÇé¸Å¿ö£¨1£©Ö÷ÒªÖ¸Êý£º¿í»ùÖ¸Êý´ó¶¼ÉÏÕÇ£¬´´Òµ°åÖ¸ÕÇ·ù¾Óǰ¡££¨2£©°å¿éÊӲ죺ÓÐɫЯӲ¿Æ¼¼ÉÏÕÇ£¬ÏûºÄ°éÈí¿Æ¼¼»Øµ÷¡££¨3£©Êг¡ÇéÐ÷£º»¦Éî³É½»»·±ÈÓÐËù»ØÂ䣬¹ÉÖ¸ÆÚ»õºÏÔ¼´ó¶àÌùË®¡££¨4£©×ʽðÁ÷Ïò£ºÁ½ÈÚÓà¶îÂÔ΢ÉÏÉý£¬ÈÚ×ÊÂòÈëÕ¼±ÈÉÏÉý£¬¹ÉƱETF ¾»Á÷³ö¡££¨5£©Á¿»¯¡°ºÚ¿Æ¼¼¡±£º´´Òµ°åÖ¸¹ÀÖµÏà¶ÔÆ«µÍ£¬ÏµøÄÜÁ¿Ä£×Ó´¦ÓÚÕý³£Ë®Æ½¡£
ÔÚÏÖ´úÉç»á£¬ÐÐÒµÊý¾ÝÆÊÎöÕýÖð²½³ÉΪÆóÒµ¾öÒéµÄ½¹µã¹¤¾ß¡£È»¶ø£¬Ðí¶àÆóÒµÔÚʵ¼ùÖз¢Ã÷£¬Êý¾ÝÔ´µÄÖÊÁ¿ºÍЧÀÍģʽֱ½ÓÓ°Ïìµ½ÆÊÎöЧ¹ûµÄ¾«×¼ÐԺͿɿ¿ÐÔ¡£ÓÈÆäÊÇÔÚÍâµØÉÌҵЧÀÍÁìÓò£¬Êý¾ÝµÄÊèÉ¢Óë²»³ä·ÖÊÇÒ»¸öÆÕ±éÎÊÌâ¡£½ñÌ죬ÎÒÃǽ«¾Û½¹ÌúÎ÷СÁù·µÄÌØÉ«Ð§ÀÍ£¬Ì½ÌÖËüÈç×÷ÉõÐÐÒµÊý¾ÝÆÊÎöÌá¹©ÆæÒìÖ§³Ö£¬²¢Íƶ¯¾«×¼»¯µÄÉú³¤¡£
ÌúÎ÷СÁù·µÄÌØÉ«Ð§ÀÍ£ºÊý¾ÝÊÕÂÞµÄÍâµØ»¯ÓÅÊÆ
ÌúÎ÷СÁù·ÒÔÆäÆæÒìµÄÉÌҵЧÀÍÏµÍ³ÖøÃû£¬°üÀ¨¸ßЧµÄÎïÁ÷ÅäËÍ¡¢¶¨ÖÆ»¯µÄÉçÇøÐ§ÀÍÒÔ¼°ÏßÏÂÁãÊ۵ĶàÑùÐÔ¡£ÕâÐ©ÌØµãʹµÃ¸ÃÇøÓò³ÉΪÊý¾ÝÊÕÂÞµÄÖ÷ÒªÔ´Í·¡£Í¨¹ýÌØÉ«Ð§À͵ÄÒ»Á¬ÓÅ»¯£¬ÌúÎ÷СÁù·Àֳɽ¨ÉèÁËÒ»¸öÍâµØ»¯µÄÊý¾ÝÉú̬ϵͳ£¬ÎªÐÐÒµÆÊÎöÌṩÁËÔ½·¢ÍêÕûºÍÕæÊµµÄ²Î¿¼ÒÀ¾Ý¡£
åÚÏëISGÏݲÃÈ˷粨£º¸ß¹Ü±»Ö¸²¥·Å¼Òô֪ͨ²ÃÈË£¬¿÷ËðÓªÒµ³Éµ÷½âÖØÐÄ ±ðµÄ£¬ÓßÂÛ½¹µã»¹¼¯ÖÐÔÚ¶ÔÌØÊâȺÌåµÄ´¦Öóͷ£ÉÏ¡£¶àÃûÔ±¹¤±¬Áϳƣ¬´Ë´Î²ÃÈËÃûµ¥²¢Î´»Ø±ÜÖ´·¨Í¨³£¸øÓèÌØÊâ±£»¤µÄÈËȺ£¬Á¬´¦ÓÚÔÐÆÚµÄÅ®ÐÔÔ±¹¤Ò²±»ÁÐÈëÆäÖС£ÕâЩÐÐΪ£¬ÈÃÒÔÍùÒÔ¸£ÀûϵͳÎȹÌÖø³Æ¡¢±»²»ÉÙÈËÊÓΪ¡°ÑøÀϳ§¡±µÄåÚÏëÐÎÏóÊܵ½¹¥»÷¡£
ÀýÈ磬ÌúÎ÷СÁù·µÄÁãÊÛÉÌͨ¹ý¾«×¼¼Í¼¿Í»§ÐèÇó¡¢ÉúÒâÆµÂʵÈÊý¾Ý£¬×ÊÖúÆÊÎöÊ¦ÕÆÎÕÏûºÄÕßÐÐΪģʽ¡£ÕâÖÖÍâµØ»¯Êý¾Ý²»µ«ÄÜÌá¸ßÆÊÎöµÄϸÁ£¶È£¬»¹ÄÜΪÆäËûÀàËÆÇøÓòµÄÉú³¤Ìṩ¿É¿¿Ä£×Ó¡£
³£¼ûÎóÇø£ººöÊÓÊý¾ÝЧÀÍÖеÄÐÐҵϸ»¯
ÔÚÐÐÒµÊý¾ÝÆÊÎöÖУ¬Ðí¶àÈËÒÔΪֻÐè»ñÈ¡¹æÄ£»¯Êý¾Ý¼´¿É£¬¶øºöÂÔÁËϸ»¯µÄÍâµØÐ§ÀÍÊý¾Ý¡£È»¶øÌúÎ÷СÁù·µÄ°¸ÀýÅú×¢£¬Ð§ÀÍÊý¾ÝµÄϸ»¯ÄÜÏÔÖøÌáÉýÆÊÎöµÄ׼ȷ¶È£¬ÌØÊâÊÇÔÚÇøÓòÐÔÊг¡Ñо¿ÖС£
ʵʱÊý¾ÝÕûºÏÓëЧÀ͸ú×Ù£ºÌáÉý¾öÒéЧÂÊ
ÌúÎ÷СÁù·µÄÌØÉ«Ð§ÀͲ»µ«ÏÞÓÚÊý¾ÝÊÕÂÞ£¬»¹³ä·ÖʹÓÃʵʱÊý¾ÝÕûºÏÊÖÒÕ¡£ÔÚÎïÁ÷ÅäËÍÁìÓò£¬¸ÃÇøÓòͨ¹ýʵʱÊý¾Ý¸ú×Ù£¬×ÊÖúÆóÒµ¿ìËÙÏàʶ»õÎïÁ÷תÇéÐΣ¬Õ¹ÍûÐèÇóת±ä£¬²¢ÓÅ»¯ÅäËÍ·¾¶¡£ÕâÖÖЧÀ͵ÄʵʱÐÔΪÐÐÒµÊý¾ÝÆÊÎöµÄ¶¯Ì¬¸üÐÂÌṩÁËÌõ¼þ¡£
±ðµÄ£¬ÕâÖÖʵʱ¸ú×ÙЧÀÍÄܹ»ïÔÌÊý¾ÝÑÓ³Ù£¬È·±£ÆóÒµÔÚ¾öÒéʱӵÓÐ×îеÄÊг¡Ç÷ÊÆÐÅÏ¢¡£¶øÕâÕýÊÇÐí¶àÐÐÒµÊý¾ÝÆÊÎöƽ̨ؽÐèµÄÒªº¦ÄÜÁ¦¡£
Êý¾ÝÆÊÎöÖеÄÊÊÓÃСÌùÊ¿£ºÔõÑùʹÓÃÌúÎ÷СÁù·Êý¾Ý
¹ØÓÚÊý¾ÝÆÊÎöʦ¶øÑÔ£¬ÔõÑù³ä·ÖʹÓÃÌúÎ÷СÁù·µÄÌØÉ«Ð§ÀÍÊý¾ÝÊÇÒ»¸öÖ÷ÒªÎÊÌâ¡£ÒÔÏÂÊÇһЩÊÊÓõÄСÌùÊ¿£º
ÒÚÔª¿ç½ç°ëµ¼Ìå Ô°ÁֹɷÝÄ⹺ÖûªÀ½Î¢6.5%¹É·Ý ÉϽ»ËùѸËÙ·¢º¯¡°ÎåÁ¬ÎÊ¡± 2025ÄêÉϰëÄ꣬¹«Ë¾ÊµÏÖÓªÒµÊÕÈë2.88ÒÚÔª£¬¹éĸ¾»ÀûÈó-7443.46ÍòÔª¡£¶Ô´Ë£¬Ô°ÁֹɷÝÚ¹Êͳƣ¬¹«Ë¾2025Äê°ëÄê¶È¹¤³ÌÊ©¹¤Á¿ÉÙ£¬ÓªÒµÊÕÈëδµÖ´ïÔ¤ÆÚÄ¿µÄ£¬Í¬Ê±£¬2025Äê°ëÄê¶È¹¤³Ì»Ø¿î½ø¶È»ºÂý£¬¹«Ë¾Æ¾Ö¤ÆóÒµ»á¼Æ×¼ÔòµÄÒªÇó¶ÔÓ¦ÊÕ¿î×Ó¼ÆÌá¼õÖµËðʧ¡£
ÆÆ½âAI³¬½Úµã ¡°ÄÚ´æÇ½¡±£ºÄÚ´æ³Ø»¯ÊÖÒÕÔõÑùÈÃǧÒÚÄ£×ÓѵÁ·Ð§Âʱ¶Ôö£¿ Ö¥¼Ó¸ç´óÑ§ÍÆ³öµÄ LMCache£¬×¨Îª³¤ÉÏÏÂÎÄ´óÄ£×ÓÍÆÀíÉè¼Æ£¬Í¨¹ý¹²Ïí KVCache ïÔÌÖØ¸´ÅÌËã¡£ËüÖ§³Ö¶àÍÆÀíÒýÇæ£¨vLLM¡¢SGLang£©¹²ÏíÂþÑÜʽ»º´æ£¬µ×²ã´æ´¢¿ÉÑ¡Óà DRAM »ò SSD£¬Í¨Ñ¶ÒÀÀµ Socket¡¢NVLink µÈ P2P ÊÖÒÕ¡£ÔÚ 128K ÉÏÏÂÎij¤¶ÈµÄ LLaMA-2 ÍÆÀíÖУ¬LMCache ¿É½« GPU ÅÌËãÖÜÆÚïÔÌ 70%£¬¶Ëµ½¶ËÑÓ³Ù½µµÍ 60%£¬Í¬Ê±Ö§³Ö PD ÊèÉ¢£¨Prefill/Decode ÊèÉ¢£©¼Ü¹¹£¬½øÒ»²½ÓÅ»¯×ÊÔ´Åä±È¡£
- **ÉîÍÚÏûºÄÕßÐÐΪÊý¾Ý**£º¹Ø×¢ÌúÎ÷СÁù·ÁãÊÛÉ̵Ŀͻ§ÉúÒâ¼Í¼£¬»ñÈ¡ÕæÊµµÄÏûºÄÆ«ºÃÐÅÏ¢¡£ - **ʹÓÃʵʱÎïÁ÷Êý¾Ý**£º½«¸ÃÇøÓòµÄÎïÁ÷¸ú×ÙÊý¾ÝÕûºÏµ½Õ¹ÍûÄ£×ÓÖУ¬ÌáÉý¾öÒéµÄ׼ȷÐÔ¡£ - **ÉçÇø·´ÏìÊý¾Ý**£ºÉçÇøÐ§ÀÍÖеĿͻ§ÆÀ¼ÛÐÅÏ¢ÊÇÏàʶÍâµØÊг¡ÐèÇóµÄÖ÷ÒªÖ¸±ê¡£
ÌúÎ÷СÁù·ЧÀÍÉú̬¶ÔÐÐÒµÊý¾ÝÆÊÎöµÄδÀ´Ó°Ïì
´ÓÌúÎ÷СÁù·µÄ°¸ÀýÀ´¿´£¬ÍâµØ»¯Ð§ÀÍÉú̬ÓëÊý¾ÝÆÊÎöµÄÁ¬ÏµÕýÔÚ³ÉΪһÖÖеÄÇ÷ÊÆ¡£Î´À´£¬Ô½·¢Ï¸»¯µÄЧÀÍÊý¾Ý½«´Ó¶à¸öά¶ÈΪÐÐÒµÆÊÎöÌṩ֧³Ö¡£ÀýÈ磬ÔÚÁãÊÛÒµ£¬É̼ҿÉÒÔʹÓÃÇøÓòÀäÃÅÆ·ÀàÊý¾ÝÕ¹ÍûÌìϹæÄ£µÄDZÔÚÐèÇó¡£ÕâÖÖÓÉϸ½ÚÇý¶¯µÄÐÐÒµÊý¾ÝÆÊÎöģʽÓÐÍûÔÚ¸ü¶àÁìÓòÖÐÍÆ¹ã¡£
½¹µã×ܽá
ÌúÎ÷СÁù·µÄÌØÉ«Ð§ÀÍͨ¹ýÍâµØ»¯Êý¾ÝÊÕÂÞ¡¢ÊµÊ±¸ú×ÙÒÔ¼°Ï¸Ä廯ЧÀÍÉú̬£¬ÏÔÖøÍÆ¶¯ÁËÐÐÒµÊý¾ÝÆÊÎöµÄ¾«×¼»¯Éú³¤¡£ËüΪÆóÒµÌṩÁËÆæÒìµÄÊӽǺ͹¤¾ß£¬Ê¹ÆÊÎöЧ¹ûÔ½·¢¿É¿¿¡£
Ä£ÄâÓû§ÎÊ´ð
ÎÊ£ºÔõÑù½«ÌúÎ÷СÁù·µÄÌØÉ«Ð§ÀÍÊý¾ÝÓ¦ÓÃÓÚÌìÏÂÊг¡ÆÊÎö£¿
´ð£º¿ÉÒÔͨ¹ýÌáÈ¡ÌúÎ÷СÁù·µÄÏûºÄÕßÐÐΪÊý¾ÝºÍÎïÁ÷Êý¾Ý£¬½¨ÉèÇøÓòÄ£×Ó£¬ÔÙÁ¬ÏµÆäËûµØÇøµÄÊý¾Ý¾ÙÐÐÌìϹæÄ£µÄÇ÷ÊÆÕ¹ÍûºÍÐèÇóÆÊÎö¡£
¡¾ÄÚÈÝÕ½ÂÔʦ¶´²ì¡¿
δÀ´£¬ÏñÌúÎ÷СÁù·ÕâÑùµÄÍâµØ»¯Ð§ÀÍÉú̬½«±»¸ü¶àÆóÒµÊÓ×÷¸ß¼ÛÖµµÄ¡°Êý¾ÝÔ´¡±¡£È»¶ø£¬ÆóÒµ½öÒÀÀµÏÖÓÐÊý¾Ý»¹Ô¶Ô¶²»·ó£¬Á¬ÏµÈ˹¤ÖÇÄÜÓë»úеѧϰÊÖÒÕ¶ÔÕâЩÊý¾Ý¾ÙÐÐÉî²ãÍÚ¾ò£¬»òÐí²ÅÊÇÐÐÒµÊý¾ÝÆÊÎöµÄÏÂÒ»¸öÔöÌíµã¡£
±´Â×ÌìÆø´ó»áÖս᣺ÔÚ²»Í¬ÖÐÄý¾Û¹²Ê¶ ÓÚÌôÕ½ÖÐÕÃÏÔ¼ÌÐø ´ó»áʱ´ú£¬¡°Öйú½Ç¡±³ÉΪȫÇòÌìÆøÖÎÀíµÄÇ¿Á¦´Å³¡£¬¶à³¡Ö÷Ìâ±ß»á·ÖÏíµÄÖйúÂÄÀúÒý·¢ÆÕ±é¹²Ê¶£¬Õ¹ÏÖÉú³¤Öйú¼ÒÔÚÌìÆøÖÎÀíÖеÄÕûÌåʵÁ¦¡£´ó»áÖ÷ϯ°²µÂÁÒ¡¤¿ÆÀ×ÑÇ¡¤¶àÀ¸êÃ÷È·ÌåÏÖ£º¡°ÖйúÄܹ»´øÀ´»Ý¼°È«ÇòµÄÂÌÉ«½â¾ö¼Æ»®¡£¡±ÄÏÄÏÏàÖúµÄÉÂäʵ³ÉΪÖйúТ˳µÄÉú¶¯Ð´ÕÕ¡£
ÎÄÕÂÕªÒª
ÌúÎ÷СÁù·ÒÔÆäÌØÉ«Ð§ÀÍÍÆ¶¯ÐÐÒµÊý¾ÝÆÊÎöµÄÉú³¤£¬ÆäÍâµØ»¯Êý¾ÝÊÕÂÞ¡¢ÊµÊ±¸ú×ÙÊÖÒÕÒÔ¼°Éî¶ÈЧÀÍÕûºÏΪÆÊÎöµÄ¾«×¼ÐÔÌṩÁËÆæÒìÖ§³Ö¡£±¾ÎĽ«Ïêϸ̽ÌÖÕâЩЧÀÍÔõÑù³ÉΪÐÐÒµÊý¾ÝÆÊÎöµÄÒªº¦ÖúÁ¦¡£
½¨Òé±êÇ©
- ÌúÎ÷СÁù·µÄÌØÉ«Ð§ÀÍ
- ÐÐÒµÊý¾ÝÆÊÎö
- ÍâµØ»¯Êý¾ÝÊÕÂÞ
- ʵʱÊý¾ÝÕûºÏ
- ÇøÓòÊг¡ÆÊÎö