陪跑又快又稳,机器人跑步搭子来了
这个机器人名叫Cassie,曾经创下百米跑世界纪录。最近,加州大学伯克利分校的研究者给它开发了一种新的深度强化学习算法,让它掌握了急转弯等技能,还能对抗...
大模型时代还不理解自注意力?这篇文章教你从头写代码实现
自注意力是 LLM 的一大核心组件。对大模型及相关应用开发者来说,理解自注意力非常重要。近日,Ahead of AI 杂志运营者、机器学习和 AI 研究者 Sebastian Ras...
手把手教你,从零开始实现一个稀疏混合专家架构语言模型(MoE)
本文介绍了实现一个稀疏混合专家语言模型(MoE)的方法,详细解释了模型的实施过程,包括采用稀疏混合专家取代传统的前馈神经网络,实现 top-k 门控和带噪声...
突发!AI大牛Andrej Karpathy离开OpenAI
Andrej Karpathy 又离职了!刚刚,AI大牛Andrej Karpathy官宣了一条重要消息:他昨天已经从OpenAI离职,不过这中间没有什么戏剧性冲突,他只是想去尝试一下自...
英伟达官宣AI聊天机器人,本地RTX显卡运行,这是要挑战OpenAI?
OpenAI 进军芯片领域,英伟达自己造聊天机器人,这是 Sam vs Jensen 的时代?下载地址:https://www.nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-a...
OpenAI赋予ChatGPT记忆功能,由你掌控
ChatGPT 新功能上线,有了记忆能力。很快你就能告诉 ChatGPT 忘记一些事情,或者在以后的对话中要求它记住特定的事情。今天,作为测试的一部分,OpenAI 开始...
三年16篇一作,前谷歌研究科学家Yi Tay官宣新模型,21B媲美Gemini Pro、GPT-3.5
该团队的新模型在多个基准测试中都与 Gemini Pro 、GPT-3.5 相媲美。如果你经常读 AI 大模型方向的论文,Yi Tay 想必是一个熟悉的名字。作为前谷歌大脑高级研...
谷歌工程师2018年内部信曝光,5年前就有人拉响AI警报了
看起来,虽然行动慢了一些,谷歌搜索的地位暂时还无人可以撼动。2023 年 2 月,谷歌 CEO 桑达尔・皮查伊(Sundar・Pichai)对内发布了一份「红色代码」预警,...
性能提升、成本降低,这是分布式强化学习算法最新研究进展
深度强化学习(Deep Reinforcement Learning,DRL)是一种公认的解决连续决策问题的有效技术。为了应对 DRL 的数据低效(data inefficiency)问题,受到分布...
华为盘古大模型变「小」,1.5B也很能打
ChatGPT 等系列模型横空出世,以其强大的性能引起了全球的关注,有望改变人与计算机之间的交互方式,应用到千行百业。然而这些大型模型的实际需要极高的内存...