深耕AI 技术和业务 拒谈纠纷 杨植麟复出 (深耕技术创新)

科技资讯 2024-11-17 16:32:11 浏览
Scale

在Kimi上线一周年之际,月之暗面召开了一场临时发布会。直到11月16日下午的这场发布会临近,这家公司的创始人兼首席执行官杨植麟还在现场忙着确认幻灯片。

这也是这位31岁的大模型顶流,自成立月之暗面以来为数不多面向媒体进行交流。

Kimi用户数突破3600万,但想要成为超级应用还远远不够

杨植麟透露,Kimi目前每月使用人数已超过3600万。但这对于一款想要成为超级应用的产品来说,还远远不够。

月之暗面的做法是打造更强的模型,以及用更新的算法。

数学推理模型k0-math:对标OpenAI的o1系列模型

杨植麟在发布会上宣布推出新一代模型——数学推理模型k0-math。基准测试显示,该模型的数学能力可对标OpenAI的o1系列模型(o1-mini和o1-preview)。

对AI来讲,不变的一个关键词是Scaling。它并不是简单的把模型做得更大就好,核心是找到有效的方法去Scale。

- 杨植麟

他认为,现在大模型的研究范式已经发生变化,从过去的Next-TokenPrediction(上下文预测)去拓展,转变为越来越多关注基于强化学习的方法去拓展。

这其中的关键就是要让AI具备思考的能力。杨植麟认为,强化学习一定程度上可以让AI学习到思考的能力,并判断思考过程到底是好还是不好,从而持续迭代。

什么样的场景最适合让AI锻炼思考的能力,我们认为是数学场景。这也是月之暗面推出数学模型的原因。

解决数学问题就是一个不断思考的过程,它在这个过程中会断试错,并不需要跟外界进行交互,可以自成体系。

但这一模型还存在不少局限性,对简单的问题会过度思考,如对1+1这样的问题会多次求证计算,显得复杂化和非常谨慎;同时,对不同难度的题目答对的概率也有所不同。

杨植麟表示,这需要减少幻觉,并提高泛化性,将其应用到物理化学、生物医学等学科问题和前沿研究,这是接下来很重要的事情。

在AI搜索上的探索:用强化学习提升推理能力

他还介绍了Kimi在AI搜索上的探索。

把强化学习用在搜索场景,跟探索版相结合,可以提升模型搜索推理能力,能够拓展更多的意图,做链式推理,并能够比较不同的信源。

据了解,k0-math模型和更强大的Kimi探索版,未来几周内将会分批陆续上线Kimi。

回应媒体提问:AI发展范式的变化、ScalingLaw能否延续

在与多家媒体的交流中,杨植麟回应了包括AI发展范式的变化、ScalingLaw能否延续,以及Kimi的核心目标和未来规划。

观点评论

他认为,ScalingLaw依然还有很高的上限,明年领先模型会做到一个比较极致的阶段。但接下来最重点的是强化学习,它还是Scaling,只是说通过不同的方式去Scale。

今天当Scale差不多的时候,会发现再加更多的算力,并不一定能直接解决瓶颈,核心是因为没有高质量的数据。这时通过算法的改变,让它不会成为瓶颈。

- 杨植麟

在国内大模型都面临技术瓶颈的情况下,会不会拉大差距?杨植麟认为,差距对国内来说有可能是一个好事,预训练不一定可持续,这种情况下创新能力更重要,对我们反而是一个优势。

在产品层面,杨植麟透露,最初尝试过几个产品一块做,后来发现最重要的还是要聚焦,并做到极致,不能把公司变成大厂,否则会对创新有致命性的伤害。

为此月之暗面主动做了减法,从今年初决定聚焦做好Kimi这一款产品。

他表示,Kimi现在最核心的任务是提升留存,不太关注跟豆包等产品的竞争,表示适当的投放是需要的。

问题

杨植麟还透露,目前正在内测多模态功能。AI接下来最重要的是思考和交互这两个能力,但思考的重要性远大于交互。多模态是必要的,但思考会决定上限。

以下是对话精编:

一、谈数学模型:是强学学习的验证,成本会不断下降

提问:这次发的数学模型,离普通用户比较远,怎么看这个功能和用户的关系?

杨植麟:数学来讲我觉得是两个方面的价值,第一个,它在教育产品上有非常大的价值,在我们整体流量里也起到很重要的作用。第二个,我觉得它是技术上的迭代和验证,可以把这个技术去放在更多的场景里。

提问:对于新的数学模型,数据会不会成为比较大的挑战?怎么避免过度思考?

杨植麟:数据上我觉得它不是一个非常大的挑战,成本在不断下降。在过拟合上,我们先用强化学习的算法,改变一下,同时把大量的数据用进来训练,用量化的方法,然后跟知识规则结合。

二、谈AI发展范式的转变:从上下文预测到基于强化学习

提问:现在大模型行业发生了什么变化?

杨植麟:最重要的是范式的转变,之前大模型从GPT-1到GPT-2、GPT-3发展,它的方法论是Next-TokenPrediction,我们现在用了基于强化学习的方法,它是Scaling的另外一个范式。我们更多思考它怎么用,怎么用得更加极致,这是现在阶段我觉得比较重要的事情。

提问:接下来Scaling的路径是什么?

杨植麟:Scaling很重要,但Scaling的本质不是说单纯地把模型变大,而是找到有效的方法去Scale。现在

本文版权声明本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,请联系本站客服,一经查实,本站将立刻删除。

发表评论

热门推荐