云顶国际

ȪԴ£ºÐÅÏ¢·¶ÎÄ10ƪ£¬×÷Õߣº ±£½¡ÒûÁÏÓÐÄÄЩ£¬£º

ÕãÉÌ֤ȯ£ºÈßÓàʱ¿Ì»¹Î´¿¢Ê ĿµÄÎȹ̡¢ÊØÖê´ýÍà ±¾ÖÜ£¨2025-12-01 ÖÁ2025-12-05£©ÐÐÇé¸Å¿ö£¨1£©Ö÷ÒªÖ¸Êý£º¿í»ùÖ¸Êý´ó¶¼ÉÏÕÇ£¬´´Òµ°åÖ¸ÕÇ·ù¾Óǰ¡££¨2£©°å¿éÊӲ죺ÓÐɫЯӲ¿Æ¼¼ÉÏÕÇ£¬ÏûºÄ°éÈí¿Æ¼¼»Øµ÷¡££¨3£©Êг¡ÇéÐ÷£º»¦Éî³É½»»·±ÈÓÐËù»ØÂ䣬¹ÉÖ¸ÆÚ»õºÏÔ¼´ó¶àÌùË®¡££¨4£©×ʽðÁ÷Ïò£ºÁ½ÈÚÓà¶îÂÔ΢ÉÏÉý£¬ÈÚ×ÊÂòÈëÕ¼±ÈÉÏÉý£¬¹ÉƱETF ¾»Á÷³ö¡££¨5£©Á¿»¯¡°ºÚ¿Æ¼¼¡±£º´´Òµ°åÖ¸¹ÀÖµÏà¶ÔÆ«µÍ£¬ÏµøÄÜÁ¿Ä£×Ó´¦ÓÚÕý³£Ë®Æ½¡£

ÔÚÏÖ´úÉç»á£¬ÐÐÒµÊý¾ÝÆÊÎöÕýÖð²½³ÉΪÆóÒµ¾öÒéµÄ½¹µã¹¤¾ß¡£È»¶ø£¬Ðí¶àÆóÒµÔÚʵ¼ùÖз¢Ã÷£¬Êý¾ÝÔ´µÄÖÊÁ¿ºÍЧÀÍģʽֱ½ÓÓ°Ïìµ½ÆÊÎöЧ¹ûµÄ¾«×¼ÐԺͿɿ¿ÐÔ¡£ÓÈÆäÊÇÔÚÍâµØÉÌҵЧÀÍÁìÓò£¬Êý¾ÝµÄÊèÉ¢Óë²»³ä·ÖÊÇÒ»¸öÆÕ±éÎÊÌâ¡£½ñÌ죬ÎÒÃǽ«¾Û½¹ÌúÎ÷СÁù·µÄÌØÉ«Ð§ÀÍ£¬Ì½ÌÖËüÈç×÷ÉõÐÐÒµÊý¾ÝÆÊÎöÌá¹©ÆæÒìÖ§³Ö£¬²¢Íƶ¯¾«×¼»¯µÄÉú³¤¡£

ÌúÎ÷СÁù·µÄÌØÉ«Ð§ÀÍ£ºÊý¾ÝÊÕÂÞµÄÍâµØ»¯ÓÅÊÆ

ÌúÎ÷СÁù·ÒÔÆäÆæÒìµÄÉÌҵЧÀÍÏµÍ³ÖøÃû£¬°üÀ¨¸ßЧµÄÎïÁ÷ÅäËÍ¡¢¶¨ÖÆ»¯µÄÉçÇøÐ§ÀÍÒÔ¼°ÏßÏÂÁãÊ۵ĶàÑùÐÔ¡£ÕâÐ©ÌØµãʹµÃ¸ÃÇøÓò³ÉΪÊý¾ÝÊÕÂÞµÄÖ÷ÒªÔ´Í·¡£Í¨¹ýÌØÉ«Ð§À͵ÄÒ»Á¬ÓÅ»¯£¬ÌúÎ÷СÁù·Àֳɽ¨ÉèÁËÒ»¸öÍâµØ»¯µÄÊý¾ÝÉú̬ϵͳ£¬ÎªÐÐÒµÆÊÎöÌṩÁËÔ½·¢ÍêÕûºÍÕæÊµµÄ²Î¿¼ÒÀ¾Ý¡£

åÚÏëISGÏݲÃÈ˷粨£º¸ß¹Ü±»Ö¸²¥·Å¼Òô֪ͨ²ÃÈË£¬¿÷ËðÓªÒµ³Éµ÷½âÖØÐÄ ±ðµÄ£¬ÓßÂÛ½¹µã»¹¼¯ÖÐÔÚ¶ÔÌØÊâȺÌåµÄ´¦Öóͷ£ÉÏ¡£¶àÃûÔ±¹¤±¬ÁϳÆ£¬´Ë´Î²ÃÈËÃûµ¥²¢Î´»Ø±ÜÖ´·¨Í¨³£¸øÓèÌØÊâ±£»¤µÄÈËȺ£¬Á¬´¦ÓÚÔÐÆÚµÄÅ®ÐÔÔ±¹¤Ò²±»ÁÐÈëÆäÖС£ÕâЩÐÐΪ£¬ÈÃÒÔÍùÒÔ¸£ÀûϵͳÎȹÌÖø³Æ¡¢±»²»ÉÙÈËÊÓΪ¡°ÑøÀϳ§¡±µÄåÚÏëÐÎÏóÊܵ½¹¥»÷¡£

ÀýÈ磬ÌúÎ÷СÁù·µÄÁãÊÛÉÌͨ¹ý¾«×¼¼Í¼¿Í»§ÐèÇó¡¢ÉúÒâÆµÂʵÈÊý¾Ý£¬×ÊÖúÆÊÎöÊ¦ÕÆÎÕÏûºÄÕßÐÐΪģʽ¡£ÕâÖÖÍâµØ»¯Êý¾Ý²»µ«ÄÜÌá¸ßÆÊÎöµÄϸÁ£¶È£¬»¹ÄÜΪÆäËûÀàËÆÇøÓòµÄÉú³¤Ìṩ¿É¿¿Ä£×Ó¡£

³£¼ûÎóÇø£ººöÊÓÊý¾ÝЧÀÍÖеÄÐÐҵϸ»¯

ÔÚÐÐÒµÊý¾ÝÆÊÎöÖУ¬Ðí¶àÈËÒÔΪֻÐè»ñÈ¡¹æÄ£»¯Êý¾Ý¼´¿É£¬¶øºöÂÔÁËϸ»¯µÄÍâµØÐ§ÀÍÊý¾Ý¡£È»¶øÌúÎ÷СÁù·µÄ°¸ÀýÅú×¢£¬Ð§ÀÍÊý¾ÝµÄϸ»¯ÄÜÏÔÖøÌáÉýÆÊÎöµÄ׼ȷ¶È£¬ÌØÊâÊÇÔÚÇøÓòÐÔÊг¡Ñо¿ÖС£

ʵʱÊý¾ÝÕûºÏÓëЧÀ͸ú×Ù£ºÌáÉý¾öÒéЧÂÊ

ÌúÎ÷СÁù·µÄÌØÉ«Ð§ÀͲ»µ«ÏÞÓÚÊý¾ÝÊÕÂÞ£¬»¹³ä·ÖʹÓÃʵʱÊý¾ÝÕûºÏÊÖÒÕ¡£ÔÚÎïÁ÷ÅäËÍÁìÓò£¬¸ÃÇøÓòͨ¹ýʵʱÊý¾Ý¸ú×Ù£¬×ÊÖúÆóÒµ¿ìËÙÏàʶ»õÎïÁ÷תÇéÐΣ¬Õ¹ÍûÐèÇóת±ä£¬²¢ÓÅ»¯ÅäËÍ·¾¶¡£ÕâÖÖЧÀ͵ÄʵʱÐÔΪÐÐÒµÊý¾ÝÆÊÎöµÄ¶¯Ì¬¸üÐÂÌṩÁËÌõ¼þ¡£

±ðµÄ£¬ÕâÖÖʵʱ¸ú×ÙЧÀÍÄܹ»ïÔÌ­Êý¾ÝÑÓ³Ù£¬È·±£ÆóÒµÔÚ¾öÒéʱӵÓÐ×îеÄÊг¡Ç÷ÊÆÐÅÏ¢¡£¶øÕâÕýÊÇÐí¶àÐÐÒµÊý¾ÝÆÊÎöƽ̨ؽÐèµÄÒªº¦ÄÜÁ¦¡£

Êý¾ÝÆÊÎöÖеÄÊÊÓÃСÌùÊ¿£ºÔõÑùʹÓÃÌúÎ÷СÁù·Êý¾Ý

¹ØÓÚÊý¾ÝÆÊÎöʦ¶øÑÔ£¬ÔõÑù³ä·ÖʹÓÃÌúÎ÷СÁù·µÄÌØÉ«Ð§ÀÍÊý¾ÝÊÇÒ»¸öÖ÷ÒªÎÊÌâ¡£ÒÔÏÂÊÇһЩÊÊÓõÄСÌùÊ¿£º

ÒÚÔª¿ç½ç°ëµ¼Ìå Ô°ÁֹɷÝÄ⹺ÖûªÀ½Î¢6.5%¹É·Ý ÉϽ»ËùѸËÙ·¢º¯¡°ÎåÁ¬ÎÊ¡± 2025ÄêÉϰëÄ꣬¹«Ë¾ÊµÏÖÓªÒµÊÕÈë2.88ÒÚÔª£¬¹éĸ¾»ÀûÈó-7443.46ÍòÔª¡£¶Ô´Ë£¬Ô°ÁֹɷÝÚ¹ÊͳÆ£¬¹«Ë¾2025Äê°ëÄê¶È¹¤³ÌÊ©¹¤Á¿ÉÙ£¬ÓªÒµÊÕÈëδµÖ´ïÔ¤ÆÚÄ¿µÄ£¬Í¬Ê±£¬2025Äê°ëÄê¶È¹¤³Ì»Ø¿î½ø¶È»ºÂý£¬¹«Ë¾Æ¾Ö¤ÆóÒµ»á¼Æ×¼ÔòµÄÒªÇó¶ÔÓ¦ÊÕ¿î×Ó¼ÆÌá¼õÖµËðʧ¡£

ÆÆ½âAI³¬½Úµã ¡°ÄÚ´æÇ½¡±£ºÄÚ´æ³Ø»¯ÊÖÒÕÔõÑùÈÃǧÒÚÄ£×ÓѵÁ·Ð§Âʱ¶Ôö£¿ Ö¥¼Ó¸ç´óÑ§ÍÆ³öµÄ LMCache£¬×¨Îª³¤ÉÏÏÂÎÄ´óÄ£×ÓÍÆÀíÉè¼Æ£¬Í¨¹ý¹²Ïí KVCache ïÔÌ­ÖØ¸´ÅÌËã¡£ËüÖ§³Ö¶àÍÆÀíÒýÇæ£¨vLLM¡¢SGLang£©¹²ÏíÂþÑÜʽ»º´æ£¬µ×²ã´æ´¢¿ÉÑ¡Óà DRAM »ò SSD£¬Í¨Ñ¶ÒÀÀµ Socket¡¢NVLink µÈ P2P ÊÖÒÕ¡£ÔÚ 128K ÉÏÏÂÎij¤¶ÈµÄ LLaMA-2 ÍÆÀíÖУ¬LMCache ¿É½« GPU ÅÌËãÖÜÆÚïÔÌ­ 70%£¬¶Ëµ½¶ËÑÓ³Ù½µµÍ 60%£¬Í¬Ê±Ö§³Ö PD ÊèÉ¢£¨Prefill/Decode ÊèÉ¢£©¼Ü¹¹£¬½øÒ»²½ÓÅ»¯×ÊÔ´Åä±È¡£

- **ÉîÍÚÏûºÄÕßÐÐΪÊý¾Ý**£º¹Ø×¢ÌúÎ÷СÁù·ÁãÊÛÉ̵Ŀͻ§ÉúÒâ¼Í¼£¬»ñÈ¡ÕæÊµµÄÏûºÄÆ«ºÃÐÅÏ¢¡£ - **ʹÓÃʵʱÎïÁ÷Êý¾Ý**£º½«¸ÃÇøÓòµÄÎïÁ÷¸ú×ÙÊý¾ÝÕûºÏµ½Õ¹ÍûÄ£×ÓÖУ¬ÌáÉý¾öÒéµÄ׼ȷÐÔ¡£ - **ÉçÇø·´ÏìÊý¾Ý**£ºÉçÇøÐ§ÀÍÖеĿͻ§ÆÀ¼ÛÐÅÏ¢ÊÇÏàʶÍâµØÊг¡ÐèÇóµÄÖ÷ÒªÖ¸±ê¡£

ÌúÎ÷СÁù·ЧÀÍÉú̬¶ÔÐÐÒµÊý¾ÝÆÊÎöµÄδÀ´Ó°Ïì

´ÓÌúÎ÷СÁù·µÄ°¸ÀýÀ´¿´£¬ÍâµØ»¯Ð§ÀÍÉú̬ÓëÊý¾ÝÆÊÎöµÄÁ¬ÏµÕýÔÚ³ÉΪһÖÖеÄÇ÷ÊÆ¡£Î´À´£¬Ô½·¢Ï¸»¯µÄЧÀÍÊý¾Ý½«´Ó¶à¸öά¶ÈΪÐÐÒµÆÊÎöÌṩ֧³Ö¡£ÀýÈ磬ÔÚÁãÊÛÒµ£¬É̼ҿÉÒÔʹÓÃÇøÓòÀäÃÅÆ·ÀàÊý¾ÝÕ¹ÍûÌìϹæÄ£µÄDZÔÚÐèÇó¡£ÕâÖÖÓÉϸ½ÚÇý¶¯µÄÐÐÒµÊý¾ÝÆÊÎöģʽÓÐÍûÔÚ¸ü¶àÁìÓòÖÐÍÆ¹ã¡£


½¹µã×ܽá

ÌúÎ÷СÁù·µÄÌØÉ«Ð§ÀÍͨ¹ýÍâµØ»¯Êý¾ÝÊÕÂÞ¡¢ÊµÊ±¸ú×ÙÒÔ¼°Ï¸Ä廯ЧÀÍÉú̬£¬ÏÔÖøÍÆ¶¯ÁËÐÐÒµÊý¾ÝÆÊÎöµÄ¾«×¼»¯Éú³¤¡£ËüΪÆóÒµÌṩÁËÆæÒìµÄÊӽǺ͹¤¾ß£¬Ê¹ÆÊÎöЧ¹ûÔ½·¢¿É¿¿¡£

Ä£ÄâÓû§ÎÊ´ð

ÎÊ£ºÔõÑù½«ÌúÎ÷СÁù·µÄÌØÉ«Ð§ÀÍÊý¾ÝÓ¦ÓÃÓÚÌìÏÂÊг¡ÆÊÎö£¿

´ð£º¿ÉÒÔͨ¹ýÌáÈ¡ÌúÎ÷СÁù·µÄÏûºÄÕßÐÐΪÊý¾ÝºÍÎïÁ÷Êý¾Ý£¬½¨ÉèÇøÓòÄ£×Ó£¬ÔÙÁ¬ÏµÆäËûµØÇøµÄÊý¾Ý¾ÙÐÐÌìϹæÄ£µÄÇ÷ÊÆÕ¹ÍûºÍÐèÇóÆÊÎö¡£

¡¾ÄÚÈÝÕ½ÂÔʦ¶´²ì¡¿

δÀ´£¬ÏñÌúÎ÷СÁù·ÕâÑùµÄÍâµØ»¯Ð§ÀÍÉú̬½«±»¸ü¶àÆóÒµÊÓ×÷¸ß¼ÛÖµµÄ¡°Êý¾ÝÔ´¡±¡£È»¶ø£¬ÆóÒµ½öÒÀÀµÏÖÓÐÊý¾Ý»¹Ô¶Ô¶²»·ó£¬Á¬ÏµÈ˹¤ÖÇÄÜÓë»úеѧϰÊÖÒÕ¶ÔÕâЩÊý¾Ý¾ÙÐÐÉî²ãÍÚ¾ò£¬»òÐí²ÅÊÇÐÐÒµÊý¾ÝÆÊÎöµÄÏÂÒ»¸öÔöÌíµã¡£

±´Â×ÌìÆø´ó»áÖս᣺ÔÚ²»Í¬ÖÐÄý¾Û¹²Ê¶ ÓÚÌôÕ½ÖÐÕÃÏÔ¼ÌÐø ´ó»áʱ´ú£¬¡°Öйú½Ç¡±³ÉΪȫÇòÌìÆøÖÎÀíµÄÇ¿Á¦´Å³¡£¬¶à³¡Ö÷Ìâ±ß»á·ÖÏíµÄÖйúÂÄÀúÒý·¢ÆÕ±é¹²Ê¶£¬Õ¹ÏÖÉú³¤Öйú¼ÒÔÚÌìÆøÖÎÀíÖеÄÕûÌåʵÁ¦¡£´ó»áÖ÷ϯ°²µÂÁÒ¡¤¿ÆÀ×ÑÇ¡¤¶àÀ­¸êÃ÷È·ÌåÏÖ£º¡°ÖйúÄܹ»´øÀ´»Ý¼°È«ÇòµÄÂÌÉ«½â¾ö¼Æ»®¡£¡±ÄÏÄÏÏàÖúµÄÉÂäʵ³ÉΪÖйúТ˳µÄÉú¶¯Ð´ÕÕ¡£


ÎÄÕÂÕªÒª

ÌúÎ÷СÁù·ÒÔÆäÌØÉ«Ð§ÀÍÍÆ¶¯ÐÐÒµÊý¾ÝÆÊÎöµÄÉú³¤£¬ÆäÍâµØ»¯Êý¾ÝÊÕÂÞ¡¢ÊµÊ±¸ú×ÙÊÖÒÕÒÔ¼°Éî¶ÈЧÀÍÕûºÏΪÆÊÎöµÄ¾«×¼ÐÔÌṩÁËÆæÒìÖ§³Ö¡£±¾ÎĽ«Ïêϸ̽ÌÖÕâЩЧÀÍÔõÑù³ÉΪÐÐÒµÊý¾ÝÆÊÎöµÄÒªº¦ÖúÁ¦¡£

½¨Òé±êÇ©

  • ÌúÎ÷СÁù·µÄÌØÉ«Ð§ÀÍ
  • ÐÐÒµÊý¾ÝÆÊÎö
  • ÍâµØ»¯Êý¾ÝÊÕÂÞ
  • ʵʱÊý¾ÝÕûºÏ
  • ÇøÓòÊг¡ÆÊÎö

ÍøÕ¾µØÍ¼