为了解决训练成本难题,北京智源人工智能研究院和中国科学院计算技术研究所等多所机构尝试首次通过增长策略(growth strategy)训练千亿参数级的 LLM。增长训练过程中参数的数量并不固定,而是会从更小的模型扩增成大型模型。