为了更好地分享大模型技术最新进展，张江科投、张江孵化器、机器之心、WAIC Circle 联合发起举办了“大模型技术 Workshop”系列活动，邀请产学研一线大咖带来前沿观察与洞见。
3月22日，大模型技术 Workshop 第一期成功举行。本次活动围绕“Claude 3热浪来袭，一起聊聊文本大模型的重点技术路径”展开，并得到了张江科学城商会的大力支持。
张江孵化器总经理金红梅
张江孵化器总经理金红梅介绍，作为张江集团向“卓越的创新策源和产业发展生态综合服务商”战略转型中聚焦创新策源的主要板块，张江科投坚持以产业促进为价值核心，探索升级科技创新服务能级，为创新驱动发展注入新动能。
复旦大学自然语言处理实验室副研究员桂韬
大模型时代，AI大模型如何与人类意图对齐？复旦大学自然语言处理实验室副研究员桂韬围绕大模型能力对齐展开了分享。AI对齐包括 RLHF/RLAIF 等成熟的基础方法，RLHF/RLAIF都采用强化学习的方法，使用反馈信号来优化模型。除了使用指令数据集进行微调外，还可以使用偏好数据集训练奖励模型。尽管AI价值对齐是一项难题，但推动产学研协作等，可进一步促进AI伦理与人类价值观相匹配。
在提问环节，桂韬也针对国内核心价值观对齐、多模态对齐是否会取代纯图片/视频模型，图片视频的Tokenlization设计后续会如何取舍等问题展开详细回答。
波形智能CTO周王春澍
波形智能CTO周王春澍分享了超长文本创意写作大模型的训练和推理方案。当前，理解和生成长文本对大模型并非难事，但让大模型像人类一样写出具有创意的长文本内容或小说，并不简单。今年1月，波形智能发布了一款能生成长文本的大模型：内容创作垂域SOTA大模型“Weaver”。波形智能通过写作领域专业预训练和一套创新性的数据生成和 Alignment算法，Weaver 在写作领域的各种任务上均取得了领先 GPT-4 和众多中文通用大模型的效果。此外，周王春澍对于现场嘉宾的提问，例如模型学习对象、优秀文本的获取、内容商业化等展开回答。
亚马逊云科技资深解决方案架构师林业
亚马逊云科技资深解决方案架构师林业围绕Amazon Bedrock最新支持的Claude 3模型新特性、核心能力测评进行了技术解析。今年三月，Anthropic重磅发布了Claude 3模型，Amazon Bedrock是业界首个支持Claude 3全托管并且正式可用的服务。Claude 3具有以下特征：提升回答准确率，降低幻觉；200K超长上下文准确召回等。最后，林业进行了小红书写作助手、PPT助手、代码助手等Demo场景演示。针对长文本技术、工程等问题，林业与同事也详细地进行解答。
至此，本期活动落下帷幕。“大模型技术 Workshop”系列活动将在后续持续举行，详细信息敬请关注张江科投。
相关文章
