网友提问 :请问非attention机制大模型通俗的说是啥意思?
2024-02-22 00:12:53
岩山科技 (002195): 回答:您好,感谢对公司的关注。
Attention机制是一种能让模型对关键信息重点关注并充分学习吸收的技术,也就是把注意力集中放在重要的点上,而忽略其他不重要的因素。ChatGPT等都利用了Transformer架构,其核心技术之一就是Attention机制。标准的Attention机制的计算复杂度为O(n^2∙d)(其中n表示序列长度、d表示特征维度,^2指平方)。标准Attention机制的复杂度随序列长度呈2次方增长。通常来说Transformer架构具有训练周期较长、应用成本过高、高机器幻觉表达等缺陷,在实际应用中需要的高算力和高成本让不少中小型企业望而却步。
针对Transformer架构的上述缺陷、以及不同行业对于高效能、低能耗AI大模型需求的不断增长,公司旗下岩芯数智研发团队意识到从零开始设计大模型的必要性,并推出了国内首个非Attention机制大模型—Yan 1.0模型。Yan架构没有基于Attention机制,也没有基于RNN(指Recurrent Neural Network,循环神经网络)等序列模型,而是通过完全自研的记忆算子及特征关联函数,将计算复杂度从标准Attention机制的O(n^2∙d)降低为O(n∙d)(线性复杂度),从而提高了Yan架构模型的训练效率和收敛速度。
谢谢。
2024-03-10 13:35:05
岩山科技最新互动问答
- 非常高兴获悉中国独具创新的Yan大模型!该模型何时能够提供公测?现在大模型的accuracy(准确度)数据如何?Yan2.0何时推出?谢谢!
2024-03-10 13:36:46
- 董秘您好!请介绍一下公司子公司的Yan模型1.1在训练效率、推理、记忆能力、算力消耗、显存占用及成本方面的情况如何?
正在研究的Yan1.2具体有哪些枝术特点?目前研究的进度如何?预计何时能发布?
谢谢啦!
2024-03-10 13:37:57
- 请问; Yan 2.0计划何时推出?是否具有文生视频功能?谢谢
2024-03-10 13:38:33
- 贵公司Yao2.0的研发有什么进展?是多模态的吗?
2024-03-10 13:39:11
- 目前最新的股东数是多少?
2024-03-10 13:39:49
岩山科技龙虎榜 | 岩山科技大宗交易 | 岩山科技股东人数 | 岩山科技互动平台 |
岩山科技财务分析 | 岩山科技主营收入构成 | 岩山科技流通股东 | 岩山科技十大股东 |
岩山科技
法定名称:上海岩山科技股份有限公司
公司简介:
公司是经上海市人民政府出具沪府体改审(2001)012号批准,由原上海欧姆龙计算机有限公司整体变更设立的股份有限公司。公司于2001年7月24日取得变更后的,注册号为3100001006617。2004年8月,经交大欧姆龙2004年度第一次临时股东大会审议,交大欧姆龙变更名称为“上海交大海隆软件股份有限公司”。
经营范围:
互联网信息服务;互联网金融服务。
注册地址中国(上海)自由贸易试验区张江路665号3层
办公地址上海市浦东新区博霞路11号3楼
主营收入17436.75