教会人工智能与自身对话可以加快机器的学习速度

人工智能系统在解决问题的过程中,如果能够产生自己的内部对话,就能更可靠地学习新任务。

Image

新增的这一层私有语言改变了系统将知识从一个问题传递到下一个问题的方式,使其无需再次训练即可适应变化。

自我对话能提高学习效果

在积极解决问题的过程中,当内部自我对话与短期记忆协同作用时,多任务学习系统表现出最强的进步。

在冲绳科学技术大学院大学 ( OIST ),杰弗里·奎瑟证明,能够将目标内部表达出来的模型在切换任务时仍能保持方向。

该系统通过应用先前的操作而不是重新学习来保持对新任务的性能。

性能的提升也存在明显的局限性,这引发了人们对内部自我对话能否跟上日益增长的任务复杂性的质疑。

内存插槽的作用

人类依靠工作记忆来保持指令的有效性,同时决定下一步该做什么。

在 OIST 模拟中,具有两个内存槽的模型在执行期间将任务目标与模式细节分开保存。

这种分离有助于系统逆转序列,然后重新生成它们,而不会混淆来自竞争任务的步骤。

单槽设计容易出现自我覆盖的情况,这限制了其处理不熟悉组合的能力。

通过自我对话进行训练

在一项新的模拟中,该系统在运行过程中一边练习记忆任务,一边生成简短的自我导向语句。

这些话语起到了内心独白的作用,是一种无声的自我对话,它标记了目标,并帮助网络在选择下一步之前停下来思考。

“通过构建训练数据,让我们的系统能够与自身对话,我们表明学习不仅受人工智能系统架构的影响,还受训练过程中嵌入的交互动态的影响,”奎瑟说。

当任务涉及多个步骤时,重复自我对话最为有效,有助于在多任务处理的同时保持计划的稳定性。

人工智能系统中的学习

许多人工智能系统只有在吸收了海量数据集后才能得到改进,这促使研究人员寻找更轻量级的学习方法。

自我对话为模型提供了额外的练习信号,而记忆槽则使每个任务目标在长时间序列中都能保持可用。

这种组合支持泛化,利用过去的学习来处理新的情况,即使训练集仍然稀疏。

由于测试仅限于受控任务,因此该方法仍需要在真实机器人等嘈杂环境中进行验证。

稳定的目标,不断变化的模式

该系统设计用于学习和切换任务,而不是预测单词或进行对话。

该模型没有处理海量的文本数据集,而是针对结构化任务进行训练,这些任务需要在不断变化的模式中保持目标的稳定性。

它的内部语言起到控制信号的作用,组织步骤和优先级,而不是编码意义。

这种对比表明,学习灵活性可以从结构和记忆中产生,而不仅仅是规模。

图层处理不同的速度

在网络内部,各个层开始处理不同的时间尺度,使系统具有内在的秩序感。

快速层跟踪不断变化的模式流,而慢速层则从始至终保持任务目标的稳定。

这种时间上的分离意味着内存模块可以存储内容,而无需承担控制决策的负担。

当这种内部节奏无法形成时,同样的架构就失去了优势,更像是一台简单的复印机。

系统进行预测和调整

这些任务在主动推理下运行,这是一种控制方法,它会在每一步更新预测结果以减少误差。

每一步都始于对接下来应该发生的事情的预测,当结果与预测不符时,系统会进行调整。

自说输出作为新的输入反馈到系统中,以便控制器可以在运行过程中重新检查目标。

由于该框架倾向于稳定的预测,意外事件可能会迫使快速更新,这可能会耗尽相同的内存资源。

人类也会进行自言自语。

2015 年的一项研究追踪了儿童期和成年期的内心独白,并将其与计划和自我控制联系起来。

人们常常利用这种无声的对话来牢记目标,然后在出现干扰时纠正自己。

因为内心独白可以表达感受和选择,所以它也有助于日常生活中的情绪调节和深思熟虑的决策。

AI 模型以狭义的形式借鉴了这一思想,因此读者不应将其视为一种思维。

机器人能进行自我对话吗?

家用和农用机械面临着不断变化的指令、湿滑的物体和不断的干扰,因此僵化的培训很快就会失效。

“通过探索内心独白等现象,并了解此类过程的机制,我们对人类生物学和行为有了全新的认识,”奎瑟总结道。

如果机器人以这种方式学习,它们可能需要更少的排练脚本,但工程师仍然必须仔细测试安全性。

通过将自言自语与工作记忆相结合,模拟学习者不仅能够控制最终答案,还能控制自己的学习步骤。

这种优势在嘈杂的现实世界环境以及物理机器中是否仍然成立,仍然是一个悬而未决的问题。

已显示 25%,查看完整内容需登录

您已阅读了文章的 25%,剩余 75% 内容需要登录后查看。

立即登录 注册账号

收藏
打赏
自闭症的性别差异可能比之前认为的要小
上一篇
为什么人工智能正在重塑计算机系统设计以及几乎所有其他方面
下一篇

发表评论

个人中心
xuanzhang
568 文章
0 评论
7 收藏

扫码分享

微信支付
支付宝