设为首页
收藏本站
开启辅助访问
切换到宽版
快捷导航
登录
立即注册
快速发布信息
搜索
搜索
首页
Portal
社区
BBS
签到
本版
文章
帖子
用户
果果一线
»
社区
›
IT
›
科技报道
›
研究人员推出xLSTM神经网络AI架构:并行化处理Token、有 ...
返回列表
发新帖
研究人员推出xLSTM神经网络AI架构:并行化处理Token、有望迎战Transformer
[复制链接]
303
|
0
|
2024-5-14 23:20:57
|
发表时间:2024-5-14 23:20:57
|
显示全部楼层
|
阅读模式
1997年,Sepp Hochreiter和Jürgen Schmidhuber共同提出了长短期记忆(Long Short-Term Memory,LSTM)神经网络结构,以解决循环神经网络(RNN)长期记忆能力不足的问题。然而最近,Hochreuter在《arXiv》上发表了一篇论文,提出了一种名为xLSTM(Extended LSTM)的新架构。
据论文介绍,在新的xLSTM架构中采用了指数型门控循环网络,并引入了“sLSTM”和“mLSTM”两项记忆规则,使得相关神经网络结构能够有效地利用RAM并实现类Transformer的并行化操作。此外,团队还使用了150亿个Token对基于xLSTM及Transformer架构的两款模型进行测试,在评估后发现xLSTM表现最好,尤其是在“语言能力”方面。
根据研究人员的评估结果,“xLSTM有望与Transformer一战”。虽然目前尚不清楚这项技术是否会在未来实际应用到产品开发中,但可以肯定的是这种新型神经网络结构为人工智能领域带来了新的可能性。
回复
使用道具
举报
返回列表
发新帖
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖并转播
回帖后跳转到最后一页
有梦为马
29
主题
49
帖子
49
积分
新手上路
新手上路, 积分 49, 距离下一级还需 1 积分
新手上路, 积分 49, 距离下一级还需 1 积分
积分
49
收听TA
发消息
回复楼主
返回列表
科技报道
实时快报
业界报道
大佬快评
热门排行
1
9月19日人民币对新加坡元中间价报5.4776元,上调75.0个基点
2
“最惨撞车魂游”《艾诺提亚:失落之歌》Steam褒贬不一:风景优美 手感稀碎
3
推主总结《AC影》的"罪":弥助配着嘻哈殴打日本村民
4
小米新品即将来袭:博主爆料小米15系列新机正在筹备中
5
姚振华被恢复执行6.5亿
6
9月19日人民币对阿联酋迪拉姆中间价报0.5174元,下调8.8个基点
7
悬空寺出《黑神话:悟空》造型雪糕 已售100份
8
搭上AI东风 T-Mobile(TMUS.US)预计2027年EBITDA将增至390亿美元