云顶国际

ȪԴ£ººì¾Æ¹ñСÐÍ£¬×÷Õߣº ÆûÅä³§¸É»îÊÓÆµ£¬£º

СÐò£ºÐ¡Ïï×ÓÀïµÄÉñÃØ¡ª¡ªÒË´ºÊг¡µÄ·çÏò±ê

Õâô˵°É£¬Ìáµ½ÒË´ºµÄ±¦ÀûÊг ¡£¬Ðí¶àÈËÄÔº£Àï¶¼»á¸¡ÏÖ³öÈÈÄÖ·Ç·²µÄ³¡¾°£ºÌ¯··ßººÈÉù¡¢ÌÖ¼Û»¹¼ÛµÄÅÊ̸£¬ÉÐÓÐÊо®¼ä²»¾­ÒâͶµÄÉúÑÄÆøÏ¢ ¡£µ«ÄãÊÇ·ñ×¢ÖØµ½£¬ÄÇЩ²»ÆðÑÛµÄСÏï×Ó£¬ÍùÍùÊÇ·¢Ã÷ÐÂÉÌ»úµÄÒªº¦µØ´ø£¿

ÔÚÊг¡ÐÐÇéÀСÏï×Ó²»µ«ÊÇÒ»Ìõ·£¬¸üÏñÊÇÒ»¸ö´°¿Ú£¬Í¸ÊÓ×ÅÒË´ºÊÐÉÌÒµµÄÕæÊµÂö¶¯ ¡£ÄÇô£¬ÒË´ºÊб¦ÀûÊг¡µÄСÏï×Ó¾¿¾¹ÔÚʲôµØ·½£¿ËüºÍÍâµØÊг¡µÄÐÐÇéÓÖÓÐʲô¹ØÏµÄØ£¿½ñÌìÎÒÃǾÍÒ»ÆðÀ´Ì½¸öÊÂʵ ¡£

±¦ÀûÊг¡µÄСÏï×Ó£ºËüµÄλÖúͱ³ºóÒþ²ØµÄÉÌ»ú

ÒË´ºÊб¦ÀûÊг¡Î»ÓÚÊÐÇø½¹µãµØ¶Î£¬Öܱ߽»Í¨±ãµ±£¬ÎüÒýÁË´ó×ÚÍâµØ×¡ÃñºÍÍâµØÉÌ·· ¡£È»¶ø£¬ÕæÕýÈÃËüÓÐȤµÄÊÇÄÇЩÒþÄäÔÚÖ÷Êг¡ÖܱߵÄСÏï×Ó£¬ÕâЩµØ·½ÓÐʱ¼ä±ÈÖ÷Êг¡ÉÐÓйÊÊ ¡£

¸ß¹Üн³êÃÍÔö£¬¸ßн³ê+·Öºì£¬ºéÎÀ¶«ØøÙ³ÈýÄêÊÕÈë¹ýÒÚ ¡£¹ØÓÚÕâÑùµÄÊÕÈëˮƽ£¬Ðí¶àÈ˲»½ûºÃÆæ£¬ÕâÊÇ·ñ»áÓ°Ïìµ½ÏñÒË´ºÊб¦ÀûÊг¡µÄСÏï×ÓÔÚʲôµØ·½ÕâÑùµÄС±¾ÉúÒâı»®£¿ÊÂʵ£¬ÔÚ¾­¼ÃÉú³¤µÄͬʱ£¬ÒË´ºÊб¦ÀûÊг¡µÄСÏï×ÓÔÚʲôµØ·½µÄÉÌ»§ÃÇÒ²ÔÚÆð¾¢Ñ°ÕÒ×ÔÉíµÄÉúÑÄÖ®µÀ ¡£

СÏï×ÓµÄλÖò¢²»ÄÑÕÒ¡ª¡ªËü¾ÍÔÚÊг¡µÄ¶«²àÈë¿ÚÖÜΧ£¬´ÓÖ÷½Ö¹Õ½øÈ¥£¬ÏïµÀÁ½²àÊÇÖÖÖÖÌØÉ«Ì¯Î»£ºÐ¡³Ô̯¡¢¶þÊÖÔÓ»õ¡¢ÉõÖÁÉÐÓÐһЩÂôÊÖ¹¤ÒÕÆ·µÄ̯λ ¡£ÕâÀïµÄ̯··Á÷¶¯ÐԺܸߣ¬ÉÌÆ·¸üÐÂËÙÂʿ죬¸øÈËÒ»ÖÖ¡°ÓÀÔ¶ÓÐÐÂÏʹ¤¾ß¡±µÄ¸ÐÊÜ ¡£

Õâô˵°É£¬ÕâЩСÏï×Ó¾ÍÏñÊг¡µÄÊÔÑéÌï ¡£Ð¡ÉÌ··ÃÇ»áÔÚÕâÀïÊÔ̽вúÆ·µÄÊܽӴýˮƽ£¬¶øÏûºÄÕßÒ²¸üÔ¸ÒâÔÚÕâÀïÌÔÒ»Ð©ÆæÒìµÄ¹¤¾ß ¡£ÕâÖÖ¹©Ð軥¶¯£¬Ö±½Ó·´Ó¦ÁËÒË´ºÊб¦ÀûÊг¡µÄÐÐÇéת±ä ¡£

ÐÐÇéÆÊÎö£ºÐ¡Ïï×ÓÀïµÄ¡°Î¢¾­¼Ã¡±Õ÷Ïó

ÒË´ºÊб¦ÀûÊг¡µÄСÏï×Ó£¬²»µ«ÊÇÒ»¸ö¹ºÎﳡºÏ£¬ÕÕ¾ÉÍâµØÊг¡Î¢¾­¼ÃµÄÕæÊµËõÓ° ¡£Ã¿Öܶ¼ÓÐеÄ̯λ·ºÆð£ºÒ»Ð©Ì¯··×îÏÈÂô¼¾½ÚÐÔË®¹û£»ÁíһЩÔòÊÔË®ÍøºìÉÌÆ·£¬ºÃ±È×î½üÊ¢ÐеÄÊÖ¹¤Ä̲è·Û ¡£

ÎÒÃÇÎÞ·Á¿´¿´Õâ±³ºóµÄÂß¼­¡ª¡ªÕâЩ̯··Ñ¡ÔñСÏï×Ó£¬ÊÇÓÉÓÚÕâÀï×â½ðµÍ¡¢ÈËȺÁ÷Á¿¸ß£¬ÏûºÄÕßÒ²ÀÖÓÚÔÚÕâÀï¡°Ëæ±ã×ß×ß¡± ¡£¶øÕâÖÖÎÞаµÄÉÌҵģʽ£¬Ö±½ÓÍÆ¶¯ÁËÊг¡µÄ»îÔ¾¶È ¡£

ÊÊÓÃСÌùÊ¿£ºÈôÊÇÄãÏëÏàʶСÏï×ÓµÄ×îÐÂÐÐÇéת±ä£¬¿ÉÒÔÑ¡ÔñÖÜÎå»òÕßÖÜĩȥ×ß×ß ¡£ÕâÊÇ̯··ÃdzöлõµÄá¯ÁëÆÚ£¬ÄãÄÜ¿´µ½²»ÉÙÓÐȤµÄÉÌÆ·£¬Ò²ÄܸÐÊܵ½Êг¡µÄÕæÊµ¶¯Ì¬ ¡£

×îºó£ºÐ¡Ïï×Ó²»µ«Êǵط½£¬¸üÊÇÒ»ÖÖÉÌҵͷÄÔ

ÒË´ºÊб¦ÀûÊг¡µÄСÏï×Ó£¬ÍâòÉÏÊÇÒ»¸ö²»ÆðÑ۵ĵط½£¬µ«Ï¸Ï¸ÊӲ죬Äã»á·¢Ã÷ËüÒþ²Ø×ÅÕû¸öÊг¡µÄ»îÁ¦ÃÜÂë ¡£Í¨Ì«¹ýÎöÕâЩСÏï×ÓµÄÉÌÆ·¡¢Ì¯··ºÍÏûºÄÕßÐÐΪ£¬ÎÒÃÇ×ÅʵÄܸüºÃµØÃ÷È·ÒË´ºµÄÊг¡ÐÐÇé ¡£

ÒÔÊÇ£¬Ï´ξ­ÓÉÒË´º±¦ÀûÊг ¡£¬ÎÞ·ÁÔÚСÏï×ÓÀïÍ£ÁôƬÉΣ¬»òÐíÄã²»µ«ÄÜÌÔµ½ºÃ¹¤¾ß£¬»¹ÄÜÐᵽһ˿ÉÌÒµµÄ¡°Ð·çÏò¡± ¡£

¿ËÈÕ£¬Ï°½üƽ×ÜÊé¼ÇÔÚ¡¶ÇóÊÇ¡·ÔÓÖ¾½ÒÏþµÄÖ÷ÒªÎÄÕ¡¶ÒòµØÖÆÒËÉú³¤ÐÂÖÊÉú²úÁ¦¡·ÖÐÇ¿µ÷£¬¡°¸÷µØÒª¼á³Ö´ÓÏÖʵ³ö·¢£¬Æ¾Ö¤ÍâµØµÄ×ÊÔ´Ù÷¸³¡¢¹¤Òµ»ù´¡¡¢¿ÆÑÐÌõ¼þµÈ£¬ÓÐÑ¡ÔñµØÍƶ¯Ð¹¤Òµ¡¢ÐÂģʽ¡¢Ð¶¯ÄÜÉú³¤£¬¼ÓËÙÍÆÐж¯Îª¾­¼ÃÔöÌíºÍ¾ÍÒµÊÕÈë»ù±¾ÒÀÍеĹŰ幤ҵˢÐÂÉý¼¶£¬Íƶ¯Ð¾ÉÉú³¤¶¯ÄÜÆ½ÎȽÓÐø×ª»»¡± ¡£µ±½ñÌìÏ£¬¿Æ¼¼¸ïÃüºÍ¹¤ÒµÀå¸ïÀ˳±±¼Ó¿Ïòǰ£¬È˹¤ÖÇÄÜ¡¢Á¿×ÓÐÅÏ¢¡¢ÉúÎïÊÖÒÕµÈÇ°ÑØÁìÓò¾ºÏàÍ»ÆÆ£¬¹Å°å¹¤ÒµÓëÐÂÐ˹¤Òµ½»Ö¯¹²Éú ¡£ºÃ±È£¬ÒË´ºÊб¦ÀûÊг¡µÄСÏï×ÓÔÚʲôµØ·½£¬ÊDz»ÉÙÈ˹Ø×¢µÄ£¬Í¬Ê±£¬ÒòµØÖÆÒËÉú³¤ÐÂÖÊÉú²úÁ¦£¬Íƶ¯Ð¾ɶ¯ÄÜÆ½ÎȽÓÐø×ª»»£¬³ÉΪʵÏÖ¾­¼Ã¸ßÖÊÁ¿Éú³¤µÄ±Ø¶¨ÒªÇó ¡£ÔÚÕâÑùµÄÅä¾°Ï£¬ÉîÈëÏàʶÒË´ºÊб¦ÀûÊг¡µÄСÏï×ÓÔÚʲôµØ·½£¬Ò²ÓÐÖúÓÚÁ¬ÏµÇøÓòÌØµã̽Ë÷¸ü¶àÉú³¤Ê±»ú ¡£


Óû§ÌåÌùÎÊÌ⣺ÒË´ºÊб¦ÀûÊг¡µÄСÏï×ÓÊʺÏ×öʲôÀàÐ͵ÄÉúÒ⣿

ÃæÁÙ´óÄ£×ÓÍÆÀíÖÐ KVCache Õ¼Óôó×ÚÏÔ´æµÄÎÊÌ⣬KIMI Ìá³öµÄ MoonCake ¼Æ»®£¬½«ÂþÑÜʽ CPU ÄÚ´æ¡¢SSD ×é³É KVCache ´æ´¢³Ø£¬Í¨Ì«¹ýÒ³ÖÎÀíʵÏÖ»º´æ¸´Óà ¡£ÀýÈ磬ÔÚ¶àÂÖ¶Ô»°³¡¾°ÖУ¬MoonCake ¿É¸´ÓÃÀúÊ·¶Ô»°µÄ KVCache£¬×èÖ¹ÖØ¸´ÅÌË㣬TTFT£¨Ê×´ÊÌìÉúʱ¼ä£©½µµÍ 50%£¬Í¬Ê±½« GPU ÏÔ´æÕ¼ÓÃïÔÌ­ 60%£¬µ¥¿¨²¢·¢ÇëÇóÁ¿ÌáÉý 2 ±¶ ¡£ÈôÊÇÄãÕýÔÚ˼Ë÷ÒË´ºÊб¦ÀûÊг¡µÄСÏï×ÓÔÚʲôµØ·½£¬ÕâÖÖÊÖÒÕµÄÌáÉýÒ²ÄÜΪÏà¹ØÓ¦Óó¡¾°´øÀ´¸ü¸ßЧµÄÖ§³Ö ¡£Æä¼Ü¹¹Ö§³Ö RDMA ¸ßËÙ´«Ê䣬KVCache ÔÚ GPU Óë CPU ÄÚ´æ¼äǨáãÑÓ³Ù½ö 5 ΢Ãë ¡£ÎÞÂÛÊÇÊÖÒÕÍ»ÆÆÕÕ¾ÉÏñÒË´ºÊб¦ÀûÊг¡µÄСÏï×ÓÔÚʲôµØ·½ÕâÑùµÄ֪ʶÅÌÎÊ£¬ÊÖÒÕǰ½ø¶¼ÎªÎÒÃÇ´´Á¢Á˸ü¶à¿ÉÄÜ ¡£

¼òÃ÷½â´ð£ºÐ¡Ïï×ÓÊʺÏС±¾Ç®¡¢ÎÞа±ä»»µÄÉúÒ⣬ºÃ±È¼¾½ÚÐÔÉÌÆ·¡¢Íøºì²úÆ·ºÍÊÖ¹¤ÌØÉ«ÉÌÆ· ¡£Ì¯Î»×â½ðµÍ¡¢Á÷Á¿¸ß£¬ÌØÊâÊÊºÏ¸ÕÆð²½µÄ´´ÒµÕßÊÔ̽Êг¡ ¡£

Òªº¦´Ê±êÇ©£º

#ÒË´ºÊб¦ÀûÊг¡µÄСÏï×ÓÔÚʲôµØ·½ #ÒË´ºÊг¡ÐÐÇé #СÏï×Ó΢¾­¼Ã #̯··ÉÌ»ú #ÒË´ºÉÌÒµÆÊÎö

ÍøÕ¾µØÍ¼