据新智元报道,来自普林斯顿、UIUC等机构的华人团队提出一个用于加速大型语言模型(LLM)推理速度的简单框架Medusa,并于今日开源发布。测试结果显示,Medusa可以将LLM的生成效率提高约2倍。Github开源地址:https://github.com/FasterDecoding/Medusa项目主页:https://sites.google.com/view/medusa-llm