昆仑万维 (300418): 回答：答：Scaling Law 并未失效，但在训练领域确实在放缓，即在模型规模不断扩大的情况下，若该领域的数据集没有急剧上升的话，性能提升可能会出现边际效益递减的现象。但是目前 OpenAI o1 带来了一个新的方向，就是在推理能力方面，scaling law 仍然有显著的增长空间。通过增加模型参数数量、推理方式、硬件算力等有可能带来性能提升。尽管大语言模型的规模定律在一些方面显示出局限性，但我们可以通过对模型架构进行创新，正如昆仑万维 2050 研究院与北大联合发布的 MoE++架构使得模型具有更快的推理速度和更高的性能；也可像 OpenAI 的 o1 在后训练引入强化学习，并在推理中增加长 CoT，也实现了模型性能表现的大幅提升。此外，引入更高质量的数据，以及增强多模态能力，来提高模型的认知等方法，也可以进一步的提升模型的推理和生成能力。未来的进展可能更多地依赖于算法和理论的创新，而不仅仅是模型规模的扩大。同时，我认为大模型的 Scaling Law 在不同领域的放缓速度不同，以文本领域而言，人类的文本领域大概是 10000万亿 Token 的量级，视频领域大概是百亿量级，图片领域大约是 10 亿。再到音乐，全球历史上只有 4000 万首歌曲。再到 3D 模型领域，只有 1200 万个 3D 模型。在不同的数据量规模的情况下，预训练的 scaling law 肯定会放缓。目前国外大规模训练集群，基本上都还是在文本领域，朝着通用人工领域去进行研发。但是对于内容生成领域，不论是视频、图片还是音乐，从训练到推理其实都在进行大量的优化，我们认为在这个领域的性能优化仍然有极大空间。例如 OpenAI刚刚推出的 sCM 模型，将图像生成速度提高了 10 倍以上，这表明 AIGC 领域，已经进入到成本急剧降低、性能急剧提高的一个阶段，这对于所有在 AIGC 领域进行创业的或者进行产品实践的公司来说是非常有战略意义的。其次，在垂直市场，例如在音乐、图像、视频领域，如果能够取得 SOTA 即最先进模型的地位，仍然能够获取市场的一个红利。像我们公司在音乐领域取得 SOTA 级别地位之后，也吸引了国内很多大企业前来合作，包括中国移动和中国电信等公司。所以在 AIGC 领域，我们中国企业的机会是非常大的，然后也一定能够取得市场上的领先地位。

2024-10-30 00:00:00