СÐò£ºÐ¡Ïï×ÓÀïµÄÉñÃØ¡ª¡ªÒË´ºÊг¡µÄ·çÏò±ê
Õâô˵°É£¬Ìáµ½ÒË´ºµÄ±¦ÀûÊг¡£¬Ðí¶àÈËÄÔº£Àï¶¼»á¸¡ÏÖ³öÈÈÄÖ·Ç·²µÄ³¡¾°£ºÌ¯··ßººÈÉù¡¢ÌÖ¼Û»¹¼ÛµÄÅÊ̸£¬ÉÐÓÐÊо®¼ä²»¾ÒâͶµÄÉúÑÄÆøÏ¢¡£µ«ÄãÊÇ·ñ×¢ÖØµ½£¬ÄÇЩ²»ÆðÑÛµÄСÏï×Ó£¬ÍùÍùÊÇ·¢Ã÷ÐÂÉÌ»úµÄÒªº¦µØ´ø£¿
ÔÚÊг¡ÐÐÇéÀСÏï×Ó²»µ«ÊÇÒ»Ìõ·£¬¸üÏñÊÇÒ»¸ö´°¿Ú£¬Í¸ÊÓ×ÅÒË´ºÊÐÉÌÒµµÄÕæÊµÂö¶¯¡£ÄÇô£¬ÒË´ºÊб¦ÀûÊг¡µÄСÏï×Ó¾¿¾¹ÔÚʲôµØ·½£¿ËüºÍÍâµØÊг¡µÄÐÐÇéÓÖÓÐʲô¹ØÏµÄØ£¿½ñÌìÎÒÃǾÍÒ»ÆðÀ´Ì½¸öÊÂʵ¡£
±¦ÀûÊг¡µÄСÏï×Ó£ºËüµÄλÖúͱ³ºóÒþ²ØµÄÉÌ»ú
ÒË´ºÊб¦ÀûÊг¡Î»ÓÚÊÐÇø½¹µãµØ¶Î£¬Öܱ߽»Í¨±ãµ±£¬ÎüÒýÁË´ó×ÚÍâµØ×¡ÃñºÍÍâµØÉÌ··¡£È»¶ø£¬ÕæÕýÈÃËüÓÐȤµÄÊÇÄÇЩÒþÄäÔÚÖ÷Êг¡ÖܱߵÄСÏï×Ó£¬ÕâЩµØ·½ÓÐʱ¼ä±ÈÖ÷Êг¡ÉÐÓйÊÊ¡£
¸ß¹Üн³êÃÍÔö£¬¸ßн³ê+·Öºì£¬ºéÎÀ¶«ØøÙ³ÈýÄêÊÕÈë¹ýÒÚ¡£¹ØÓÚÕâÑùµÄÊÕÈëˮƽ£¬Ðí¶àÈ˲»½ûºÃÆæ£¬ÕâÊÇ·ñ»áÓ°Ïìµ½ÏñÒË´ºÊб¦ÀûÊг¡µÄСÏï×ÓÔÚʲôµØ·½ÕâÑùµÄС±¾ÉúÒâı»®£¿ÊÂʵ£¬ÔÚ¾¼ÃÉú³¤µÄͬʱ£¬ÒË´ºÊб¦ÀûÊг¡µÄСÏï×ÓÔÚʲôµØ·½µÄÉÌ»§ÃÇÒ²ÔÚÆð¾¢Ñ°ÕÒ×ÔÉíµÄÉúÑÄÖ®µÀ¡£
СÏï×ÓµÄλÖò¢²»ÄÑÕÒ¡ª¡ªËü¾ÍÔÚÊг¡µÄ¶«²àÈë¿ÚÖÜΧ£¬´ÓÖ÷½Ö¹Õ½øÈ¥£¬ÏïµÀÁ½²àÊÇÖÖÖÖÌØÉ«Ì¯Î»£ºÐ¡³Ô̯¡¢¶þÊÖÔÓ»õ¡¢ÉõÖÁÉÐÓÐһЩÂôÊÖ¹¤ÒÕÆ·µÄ̯λ¡£ÕâÀïµÄ̯··Á÷¶¯ÐԺܸߣ¬ÉÌÆ·¸üÐÂËÙÂʿ죬¸øÈËÒ»ÖÖ¡°ÓÀÔ¶ÓÐÐÂÏʹ¤¾ß¡±µÄ¸ÐÊÜ¡£
Õâô˵°É£¬ÕâЩСÏï×Ó¾ÍÏñÊг¡µÄÊÔÑéÌСÉÌ··ÃÇ»áÔÚÕâÀïÊÔ̽вúÆ·µÄÊܽӴýˮƽ£¬¶øÏûºÄÕßÒ²¸üÔ¸ÒâÔÚÕâÀïÌÔÒ»Ð©ÆæÒìµÄ¹¤¾ß¡£ÕâÖÖ¹©Ð軥¶¯£¬Ö±½Ó·´Ó¦ÁËÒË´ºÊб¦ÀûÊг¡µÄÐÐÇéת±ä¡£
ÐÐÇéÆÊÎö£ºÐ¡Ïï×ÓÀïµÄ¡°Î¢¾¼Ã¡±Õ÷Ïó
ÒË´ºÊб¦ÀûÊг¡µÄСÏï×Ó£¬²»µ«ÊÇÒ»¸ö¹ºÎﳡºÏ£¬ÕÕ¾ÉÍâµØÊг¡Î¢¾¼ÃµÄÕæÊµËõÓ°¡£Ã¿Öܶ¼ÓÐеÄ̯λ·ºÆð£ºÒ»Ð©Ì¯··×îÏÈÂô¼¾½ÚÐÔË®¹û£»ÁíһЩÔòÊÔË®ÍøºìÉÌÆ·£¬ºÃ±È×î½üÊ¢ÐеÄÊÖ¹¤Ä̲è·Û¡£
ÎÒÃÇÎÞ·Á¿´¿´Õâ±³ºóµÄÂß¼¡ª¡ªÕâЩ̯··Ñ¡ÔñСÏï×Ó£¬ÊÇÓÉÓÚÕâÀï×â½ðµÍ¡¢ÈËȺÁ÷Á¿¸ß£¬ÏûºÄÕßÒ²ÀÖÓÚÔÚÕâÀï¡°Ëæ±ã×ß×ß¡±¡£¶øÕâÖÖÎÞаµÄÉÌҵģʽ£¬Ö±½ÓÍÆ¶¯ÁËÊг¡µÄ»îÔ¾¶È¡£
ÊÊÓÃСÌùÊ¿£ºÈôÊÇÄãÏëÏàʶСÏï×ÓµÄ×îÐÂÐÐÇéת±ä£¬¿ÉÒÔÑ¡ÔñÖÜÎå»òÕßÖÜĩȥ×ß×ß¡£ÕâÊÇ̯··ÃdzöлõµÄá¯ÁëÆÚ£¬ÄãÄÜ¿´µ½²»ÉÙÓÐȤµÄÉÌÆ·£¬Ò²ÄܸÐÊܵ½Êг¡µÄÕæÊµ¶¯Ì¬¡£
×îºó£ºÐ¡Ïï×Ó²»µ«Êǵط½£¬¸üÊÇÒ»ÖÖÉÌҵͷÄÔ
ÒË´ºÊб¦ÀûÊг¡µÄСÏï×Ó£¬ÍâòÉÏÊÇÒ»¸ö²»ÆðÑ۵ĵط½£¬µ«Ï¸Ï¸ÊӲ죬Äã»á·¢Ã÷ËüÒþ²Ø×ÅÕû¸öÊг¡µÄ»îÁ¦ÃÜÂ롣̫ͨ¹ýÎöÕâЩСÏï×ÓµÄÉÌÆ·¡¢Ì¯··ºÍÏûºÄÕßÐÐΪ£¬ÎÒÃÇ×ÅʵÄܸüºÃµØÃ÷È·ÒË´ºµÄÊг¡ÐÐÇé¡£
ÒÔÊÇ£¬Ï´ξÓÉÒË´º±¦ÀûÊг¡£¬ÎÞ·ÁÔÚСÏï×ÓÀïÍ£ÁôƬÉΣ¬»òÐíÄã²»µ«ÄÜÌÔµ½ºÃ¹¤¾ß£¬»¹ÄÜÐᵽһ˿ÉÌÒµµÄ¡°Ð·çÏò¡±¡£
¿ËÈÕ£¬Ï°½üƽ×ÜÊé¼ÇÔÚ¡¶ÇóÊÇ¡·ÔÓÖ¾½ÒÏþµÄÖ÷ÒªÎÄÕ¡¶ÒòµØÖÆÒËÉú³¤ÐÂÖÊÉú²úÁ¦¡·ÖÐÇ¿µ÷£¬¡°¸÷µØÒª¼á³Ö´ÓÏÖʵ³ö·¢£¬Æ¾Ö¤ÍâµØµÄ×ÊÔ´Ù÷¸³¡¢¹¤Òµ»ù´¡¡¢¿ÆÑÐÌõ¼þµÈ£¬ÓÐÑ¡ÔñµØÍƶ¯Ð¹¤Òµ¡¢ÐÂģʽ¡¢Ð¶¯ÄÜÉú³¤£¬¼ÓËÙÍÆÐж¯Îª¾¼ÃÔöÌíºÍ¾ÍÒµÊÕÈë»ù±¾ÒÀÍеĹŰ幤ҵˢÐÂÉý¼¶£¬Íƶ¯Ð¾ÉÉú³¤¶¯ÄÜÆ½ÎȽÓÐø×ª»»¡±¡£µ±½ñÌìÏ£¬¿Æ¼¼¸ïÃüºÍ¹¤ÒµÀå¸ïÀ˳±±¼Ó¿Ïòǰ£¬È˹¤ÖÇÄÜ¡¢Á¿×ÓÐÅÏ¢¡¢ÉúÎïÊÖÒÕµÈÇ°ÑØÁìÓò¾ºÏàÍ»ÆÆ£¬¹Å°å¹¤ÒµÓëÐÂÐ˹¤Òµ½»Ö¯¹²Éú¡£ºÃ±È£¬ÒË´ºÊб¦ÀûÊг¡µÄСÏï×ÓÔÚʲôµØ·½£¬ÊDz»ÉÙÈ˹Ø×¢µÄ£¬Í¬Ê±£¬ÒòµØÖÆÒËÉú³¤ÐÂÖÊÉú²úÁ¦£¬Íƶ¯Ð¾ɶ¯ÄÜÆ½ÎȽÓÐø×ª»»£¬³ÉΪʵÏÖ¾¼Ã¸ßÖÊÁ¿Éú³¤µÄ±Ø¶¨ÒªÇó¡£ÔÚÕâÑùµÄÅä¾°Ï£¬ÉîÈëÏàʶÒË´ºÊб¦ÀûÊг¡µÄСÏï×ÓÔÚʲôµØ·½£¬Ò²ÓÐÖúÓÚÁ¬ÏµÇøÓòÌØµã̽Ë÷¸ü¶àÉú³¤Ê±»ú¡£
Óû§ÌåÌùÎÊÌ⣺ÒË´ºÊб¦ÀûÊг¡µÄСÏï×ÓÊʺÏ×öʲôÀàÐ͵ÄÉúÒ⣿
ÃæÁÙ´óÄ£×ÓÍÆÀíÖÐ KVCache Õ¼Óôó×ÚÏÔ´æµÄÎÊÌ⣬KIMI Ìá³öµÄ MoonCake ¼Æ»®£¬½«ÂþÑÜʽ CPU ÄÚ´æ¡¢SSD ×é³É KVCache ´æ´¢³Ø£¬Í¨Ì«¹ýÒ³ÖÎÀíʵÏÖ»º´æ¸´Óá£ÀýÈ磬ÔÚ¶àÂÖ¶Ô»°³¡¾°ÖУ¬MoonCake ¿É¸´ÓÃÀúÊ·¶Ô»°µÄ KVCache£¬×èÖ¹ÖØ¸´ÅÌË㣬TTFT£¨Ê×´ÊÌìÉúʱ¼ä£©½µµÍ 50%£¬Í¬Ê±½« GPU ÏÔ´æÕ¼ÓÃïÔÌ 60%£¬µ¥¿¨²¢·¢ÇëÇóÁ¿ÌáÉý 2 ±¶¡£ÈôÊÇÄãÕýÔÚ˼Ë÷ÒË´ºÊб¦ÀûÊг¡µÄСÏï×ÓÔÚʲôµØ·½£¬ÕâÖÖÊÖÒÕµÄÌáÉýÒ²ÄÜΪÏà¹ØÓ¦Óó¡¾°´øÀ´¸ü¸ßЧµÄÖ§³Ö¡£Æä¼Ü¹¹Ö§³Ö RDMA ¸ßËÙ´«Ê䣬KVCache ÔÚ GPU Óë CPU ÄÚ´æ¼äǨáãÑÓ³Ù½ö 5 ΢Ãë¡£ÎÞÂÛÊÇÊÖÒÕÍ»ÆÆÕÕ¾ÉÏñÒË´ºÊб¦ÀûÊг¡µÄСÏï×ÓÔÚʲôµØ·½ÕâÑùµÄ֪ʶÅÌÎÊ£¬ÊÖÒÕǰ½ø¶¼ÎªÎÒÃÇ´´Á¢Á˸ü¶à¿ÉÄÜ¡£
¼òÃ÷½â´ð£ºÐ¡Ïï×ÓÊʺÏС±¾Ç®¡¢ÎÞа±ä»»µÄÉúÒ⣬ºÃ±È¼¾½ÚÐÔÉÌÆ·¡¢Íøºì²úÆ·ºÍÊÖ¹¤ÌØÉ«ÉÌÆ·¡£Ì¯Î»×â½ðµÍ¡¢Á÷Á¿¸ß£¬ÌØÊâÊÊºÏ¸ÕÆð²½µÄ´´ÒµÕßÊÔ̽Êг¡¡£
Òªº¦´Ê±êÇ©£º
#ÒË´ºÊб¦ÀûÊг¡µÄСÏï×ÓÔÚʲôµØ·½ #ÒË´ºÊг¡ÐÐÇé #СÏï×Ó΢¾¼Ã #̯··ÉÌ»ú #ÒË´ºÉÌÒµÆÊÎö