关于开发人工智能以倡导动物权利的文献综述
执行摘要
人工智能（AI）和机器学习（ML）领域正在迅速发展，这为像 Open Paws 这样旨在利用这些技术宣传动物权益的组织带来了机遇和挑战。
本文献综述探讨了可用于开发与促进动物利益相一致的人工智能系统的最新研究和技术。
主要结论和建议：
有效的数据整理，包括多语种数据集和去伪存真技术，对于训练人工智能系统摆脱物种偏见、适应不同文化和语言环境至关重要。
战略性的预培训方法，如指令调整和基于图形的培训，可以增强人工智能的推理能力和特定领域的知识。
专家混合（MoE）和模块化认知设计等系统架构有望创建适应性强、专业化的人工智能代理，能够自主决策和执行任务。
根据人类和人工智能的反馈对模型进行微调，再加上先进的提示工程和提示链方法，为不断改进系统性能和道德规范提供了途径。
未来的方向可能包括追求多模态、认知和分散式人工智能架构的进步，以及实施脑机接口、神经反馈设备和虚拟现实等新兴技术，以创新和对道德负责的方式提高动物宣传工作的有效性和影响力。
方法
我们的资料来源于最近发表的一系列论文，主要是最近三个月内发表的，但也有一些基础性工作可以追溯到更早的时候。
我们的遴选过程包括关注几种发表人工智能论文的期刊的 RSS 订阅源，并亲自挑选那些与我们的使命有共鸣的论文，最终挑选出约 1,000 份摘要。
我们的探索从这些摘要开始，然后延伸到深入的、有选择性的阅读。我们摒弃了任何经进一步调查发现与研究无关的研究。
我们按照适用性组织了这篇综述--从即时、可操作的研究开始，到随着 Open Paws 的发展和人工智能技术的改进而可能变得相关的未来方向结束。
每篇论文的精髓都被提炼成通俗易懂的术语并直接超链接，简化了进一步的调查，同时提供了其在推进我们的使命方面的重要意义。
回顾从数据库的创建和管理开始，贯穿 LLM 的预训练和基于反馈的微调（无论是来自人类还是人工智能），深入探讨提示链和代理架构的复杂性，最后介绍为 Open Paws AI 的未来带来希望的前瞻性人工智能功能。
数据库管理和编辑
高效、先进的数据管理是 Open Paws 以人工智能为驱动的动物宣传活动的基石。
利用先进的自动化技术，我们旨在通过强大的预处理、规范化和质量增强框架来完善我们的数据库。
一项关于LLM 数据管理的调查发现，如果训练 LLM 超过 1 个历元，则应在一小部分质量最高的数据上进行额外训练。作者建议在数据库中设置一个质量分数来进行筛选，并使用语义相似性搜索来自动重复（即删除语义过于相似的条目）。他们发现，多样化的领域和指令至关重要，而更复杂的指令会带来更好的下游性能。
SemDeDup可用于查找和删除 LLM 训练集中的语义重复。
我们可以使用tasksource对 HuggingFace 数据集进行数据预处理和规范化，自动格式化一致的数据集。
Open Paws 数据库管理的自动化有助于将庞大的数据集转化为可操作的智能。
数据提取和结构化
借助人工智能工具，Open Paws 看到了一条将非结构化数据转化为宣传战略宝贵见解的途径。然而，确保自动提取的精确性和公正性仍然至关重要。
Jellyfish 是专为数据预处理而构建的开源 LLM，也可用于模式和实体匹配等其他数据任务。它是一个小型模型，可在单个 GPU 上以 13B 参数运行，可用于自动完成我们所需的大部分数据提取和结构化工作。
Bonito是一个开源模型，可将任何非结构化数据转化为特定任务的训练数据，用于指令调整。
LLMiner同样可以通过思维链推理从非结构化文档中提取问答对。
Towards Data Science》上的这篇文章展示了一个自动框架，可将任何文本自动转化为图表。
MANTRA可用于从非结构化社交媒体数据中提取和分析趋势。
AutoIE可用于从科学 PDF 文件中提取数据
我们可以使用 "知识金字塔"方法，从图形中现有的低级知识中提取高级知识。
对 Open Paws 而言，将社交媒体上的热门话题和密集的科学文本自动转化为可消化、可操作的知识的前景令人振奋
不过，采用这些功能强大的工具需要严格的质量控制和适应性，确保我们挖掘的数据既可靠又相关，从而促进宣传工作不仅被动应对，而且与我们的事业产生深刻共鸣。
合成数据
合成数据对于人工智能的发展来说，是一个具有巨大潜力和危险的工具。
如果利用得当，它可以促进概括性并丰富对话模拟；但如果管理不当，它可能会破坏模型的稳定性和推理等认知功能。
合成数据和真实数据的合理融合势在必行。
递归的诅咒》论文展示了合成数据如何导致模型崩溃，使模型遗忘预训练中的数据。这强调了在使用合成数据时需要非常小心。
模仿专有 LLM 的虚假承诺》表明，在大型模型的合成数据上训练小型模型会增加幻觉，降低推理和逻辑能力。这强调了在高质量数据上进行预训练，而不是在低质量数据上进行微调的重要性。
用户模拟器Socratic能够利用合成数据提高基础 LLM 的性能，其方法是模拟真实的人类-人工智能对话进行训练，然后利用这一微调模型生成输出结果，这些输出结果又成为训练一个名为 PlatoLM 的新模型的输入结果。这表明，在使用合成数据时，应尽可能地模拟人类生成的数据，这样才会有效。
不可能的蒸馏"表明，利用学生和教师 LM 之间的自我蒸馏，可以在没有人类反馈的情况下生成高度多样化和高质量的数据集。当 LM 在这些输出上接受训练时，它在更少的参数上取得了明显更好的结果，并且比在人类反馈数据上接受训练的 LM 的泛化效果更好。这表明，与使用 "原始 "合成数据（即通过 ChatGPT 等系统导出的对话）相比，将合成数据提炼为核心知识能产生更好的结果。
Genixer证明，使用多模态模型生成指令调整数据可以提高图像字幕和视觉质量保证任务的性能。这表明，合成数据对多模态任务最有帮助。
对于 Open Paws 来说，合成数据既可以是有用的，也可以是有害的，这取决于如何使用它。我们的策略必须是以平衡、多模态、提炼和类似人类的方式来合成数据。
语言和语言学
只需将 1%的量身定制的高质量数据纳入其他语言，人工智能就能有效掌握新语言。
我们必须优先考虑来自当地运动者的真实内容，并改进我们的数据过滤，以警惕的方式消除物种偏见。
有必要采取协调一致的努力来接受语言多样性，特别是要确保我们的系统不是只接受或集中接受英语材料和信息来源的培训。
这对我们的人工智能模型保持文化敏感性和语言能力至关重要。
语言对我们感知世界的影响比我们通常想象的要深刻得多，如果没有母语为该语言的人的理解，很多影响是无法捕捉到的。例如，这篇论文显示，讲阿拉伯语和英语的人认为时间的移动方向不同，讲阿拉伯语的人认为时间是从右往左移动，而讲英语的人认为时间是从左往右移动。如果只使用逐字机器翻译来翻译时间如何映射到空间的概念，就会忽略这一细微差别，这只是一个小小的例子，说明了为什么我们必须使用母语使用者撰写的文本来建立多语言数据库，而不能完全依赖机器翻译。
有一种名为 "语言相对论"的假说认为，语言会影响并塑造语言使用者的世界观和认知。 决定思想）很可能是错误的，但有强有力的经验证据支持这种说法的较弱版本（即语言 影响思维）。这似乎不仅适用于人类，也适用于人工智能，因为人工智能在将完全相同的提示翻译成不同的语言时，往往会做出不同的反应。
我们特别关注的是《语言障碍》一文中的发现，即 LLM 更有可能对低资源语言（那些在预训练数据中不经常出现的语言）的恶意提示做出不安全或不相关的反应。这种效应似乎是在预训练期间 "硬编码 "到 LLM 中的，以后无法通过指令调整来消除。这意味着，如果我们在预训练时没有足够的语言数据，那么在微调过程中，即使我们对该语言进行了微调，也不太可能在消除物种歧视方面取得很大进展。
幸运的是，在预训练期间，我们并不需要代表性不足语言的庞大数据集来产生重大影响。LLaMA Beyond English发现，只需不到 1%的预训练数据，模型就能在代表度不足的语言中实现知识和响应质量的最高转移。因此，即使我们的绝大多数数据都是英语数据，但至少有少量其他语言的数据，就足以让那些代表性不足的语言在下游任务中取得巨大的性能飞跃--不过，Open Paws 将采取更多措施，确保我们的数据集能够被许多其他语言社区访问，并了解他们的经验和观点。重要的是，我们不仅要能够理解或生成其他语言的文本，还要对它们的文化背景保持敏感。
另一个考虑因素是，与使用罗马字母或字母表的其他语言相比，语言学习者在学习中文等语言组时可能会遇到困难。使用基于标记的方法的 LLM 在标记规划和将汉字字符串表示为标记方面很吃力。这一点在 "无标记 LLMs "论文中有所体现，基于标记的语言模型往往无法通过中文拼写测试，而使用字符或字节代替标记的无标记 LLMs 性能要好得多。
一个可能的解释是，与英语相比，汉字的多样性。英语包含 26 个字符，而常用的中文包含 50,000 多个字符，而且随着每个标记的字符数增加，可能的标记数也成倍增加（例如，如果有一个 3 个字符长的标记，那么英语中有 17,576 个可能的标记，而中文中有 125,000,000,000 个可能的标记）
使用汉字的不同语言变体之间也存在许多文化和语言差异（例如，台湾和中国的文化和语言背景截然不同，而普通话和粤语尽管在其他方面存在许多差异，但都使用相同的汉字）。
台湾 LLM是一个开源模型和数据集的范例，旨在解决台湾和中国大陆之间的文化和语言差异。一般来说，我们可以从全球和本地的倡导者那里学习如何以最佳方式与他们的语言社区对接--在普通的 LLM 方法在文化敏感性和意识方面存在困难的地方，我们应该向这些语言社区寻求答案，了解如何以最佳方式表现他们的语言。
我们需要确保收集多样化和多语种的数据集进行预培训，并让来自不同地区和文化的当地志愿者参与反馈收集工作。
我们还应该考虑训练一个专门针对字节或字符的中文模型，以及一个针对其他语言的单独多语言模型。
多种模式
多模态能力是扩大 Open Paws 人工智能工作的覆盖范围和相关性的基石。
是部署一个固有的多模态网络，还是在 LLM 内部或之上逐步集成多个感官模块、工具或编码器，这取决于我们的资源库和开源人工智能的发展轨迹。
然而，积极主动地策划多模态数据集使我们能够在技术变革中不断适应和发展。多模态不仅是一种选择，更是一种必需。
模态即插即用 "论文表明，单模态编码器可以添加到一组灵活的 LLM 模块中，从而在保持跨模态准确性的同时大幅降低训练成本。如果我们筹集到的资金少于预期，并且/或者在开始训练时，最先进的 LLM 明显优于最先进的 MLLM，那么这将是一个不错的选择。
DreamLLM通过直接从原始数据中学习文本和图像来扩展多模态学习，而不需要 CLIP 嵌入等中间表征。这种端到端的方法使它能够生成和理解原始形式的多模态内容，包括图像和文本。
OneLLM使用多模态编码器一次性将 8 种模态添加到 LLM 中，与每种模态使用不同的编码器相比，它能更有效地添加多种模态。
ByteFormer在字节级别而非标记级别工作，以适应所有可能的模式。它不预测下一个标记，而是预测下一个字节，这样就无需在推理时进行文件解码。
ImageBind-LLM引入了一种多模态指令调整方法，可有效地将 LLM 与音频、三维点云和视频等多种模态整合在一起，而不仅仅是图像和文本。与专注于图像-文本指令调整的现有方法不同，ImageBind-LLM 利用独特的绑定网络和无注意力门控机制，将视觉和其他模态特征直接对齐并注入 LLaMA 模型的单词标记，使其能够理解并生成对更广泛的多模态输入的语言反应。
认识到动物权利问题的多面性，"开放的爪子 "应采取多模式方法。
通过文本、图像和声音以及新兴数据类型奠定多模态数据收集的基础，我们可以确保我们的模型在新的技术进步中始终与时俱进。
培训前
对动物宣传领域的人工智能进行预培训时，应战略性地将数据集与重点推理和特定角色任务结合起来，并可能通过图形来表示，以提高事实的精确性。
专家混合架构（或受其启发的类似架构，具有进行异步特定领域专家培训的潜力）可能是应对各种宣传挑战的关键。
现有的研究为最佳训练参数提供了指导--波段、学习率、数据量和稀疏性--使我们做好了一定程度的数据丢失准备，但仍能预期在基本任务中的性能提升。
利用无监督领域发现扩展专家语言模型对相关文档进行聚类，为每个聚类训练 "专家 "语言模型，并将它们结合起来进行推理。其功能与 MoE 相似，但具有可以异步训练的额外优势。
如何预热模型》一文表明，虽然预热模型首先会增加 LLM 的损失，但从长远来看，预热模型可以提高下游性能，甚至在大型下游数据集上优于从头开始训练的模型。论文还表明，在持续预训练过程中提高学习率是最有效的，而且与从头开始预训练模型相比，持续预训练只需花费很小的成本就能取得很好的效果。
Give us the Facts》论文表明，知识编码器和知识指导下的预训练任务可用于增强具有图形理解能力的 LLM，从而减少下游任务中的幻觉。
通过支持性预训练数据了解情境中学习表明，ICL 的支持性预训练数据往往包含较高比例的稀有长尾标记，并为模型提供更具挑战性的示例，这可能会鼓励模型从多样化和复杂的情境中学习。
思维链推理的潜在技能发现通过从无监督数据中识别和利用潜在推理技能，间接支持预训练过程。这样就能创建更有针对性、更有效的训练示例，在模型的预训练阶段利用可提高其推理能力的技能来增强模型的推理能力
LocMoE专注于通过优化令牌路由和通信策略来减少训练开销。它引入了一种新颖的路由策略，可促进负载平衡和定位，从而最大限度地减少通信开销并提高模型训练性能。LocMoE 在保持准确性的同时显著减少了训练时间，为现有 MoE 模型的性能瓶颈提供了实用的解决方案。
Scaling Data-Constrained Language Models发现，4 个历时是对相同数据进行再训练的 "最佳点"。
稀疏连接基础模型的缩放定律》提出了一种新颖的缩放定律，它将稀疏性、模型大小和训练数据联系在一起，确定了一个 "最佳稀疏性 "水平，在给定模型大小和数据量的情况下使性能最大化。通过利用稀疏性来平衡计算成本和模型性能，这项研究可以指导大型模型的高效训练和部署。
反思大型语言模型时代的学习率调整》介绍了 LRBench++，这是一款用于评估和促进传统神经网络和 LLM 学习率策略的基准工具。
从"摸索 "角度看临界数据量》研究了语言模型从记忆到泛化的临界数据量，这种现象被称为 "摸索"。它引入了一种摸索配置，通过特定的初始化和权重衰减调整，在简单的语言模型中重现摸索。研究确定了一个临界数据集大小，在这个数据集大小上，模型开始超越记忆泛化。这一规模随着模型的大小而增大，表明较大的模型需要更多的数据才能实现有效的学习和泛化。
ReLoRA是一种应用低秩更新来高效训练高秩神经网络的方法，尤其是变压器。论文表明，ReLoRA 可实现与传统训练方法相当的性能，但效率更高，尤其是当模型规模增大时。
Open Paws 内部的人工智能战略发展取决于预先训练，使模型能够掌握复杂的宣传问题。
通过将数据集嵌入明确的推理和任务导向的示例，并可能将其结构化为图形，我们可以培养出一种具备强大事实准确性的人工智能，这对于复杂的宣传任务来说是不可或缺的。
利用 MoE 式架构，我们可以培养专业技能，培养对量身定制的动物宣传活动至关重要的领域专业知识。
有了关于训练历时、学习率和数据结构的经验数据，我们就能设计出一种不仅在技术上出类拔萃，而且与我们使命中的道德要求深度契合的人工智能。
剪枝、压缩、混合与合并
剪枝对模型压缩很有效，但并不是永久删除概念的方法，因为剪枝后的信息可以重新获取。
在决定是否淘汰神经元时，应考虑到神经元对输出的集体影响。
通过混合或合并较小的模型，可以提高模型性能。
此外，先训练一个小型模型，然后将所学到的变化转移到一个大型模型中，有助于降低大规模训练的相关成本。
这就提出了一种新颖的方法：完善一批较小的特定领域模型，并将其专业知识整合到更广泛的系统中，从而创建一个反映较小规模培训投资的大规模高效模型。
LoRA可冻结预训练模型权重，并将可训练的秩分解矩阵注入 Transformer 架构的每一层，从而大大减少下游任务的可训练参数数量。与使用 Adam 微调的 GPT-3 175B 相比，LoRA 可将可训练参数的数量减少 10,000 倍，GPU 内存需求减少 3 倍。
大型语言模型重新学习被删除的概念》显示，通过将高级概念迁移到较早的层，并将被剪切的概念重新分配给具有相似语义的启动神经元，模型可以在剪切后迅速恢复性能。
利用合作博弈论对神经网络进行剪枝》介绍了一种称为博弈论辅助剪枝（GTAP）的方法，它可以在保持预测准确性的同时缩小神经网络的规模。GTAP 的基础是通过博弈论解决方案，根据对网络中神经元对预测质量的共同影响的估计来消除网络中的神经元。
EvoMerge利用模型合并实现权重交叉，利用微调实现权重突变，从而建立了一个进化过程，使模型的增强超越了传统微调的限制。
混合是你所需要的》一书指出，当特定的较小型号进行协同混合时，它们的性能有可能超过或赶上大得多的同类产品。
LM-Cocktail提出了一种在保留语言模型一般能力的同时对其进行微调的方法，以解决灾难性遗忘问题。该技术通过加权平均将微调模型与预训练基础模型或其他特定领域模型合并。
代理调整语言模型》（Tuning Language Models by Proxy）介绍了代理调整（proxy-tuning），这是一种在解码时调整大型语言模型（LLM）而无需修改其权重的方法。通过利用一个较小的微调模型（专家模型）及其非微调版本（反专家模型），代理调谐可以调整基本 LLM 的输出以模拟微调。这种方法可有效定制大型 LLM，在各种任务和基准测试中都有显著改进，同时保留了模型的一般能力和知识。
QLoRA是一种专为量化大型语言模型设计的高效微调方法，可在单个 GPU 上进行微调，同时保持性能。它将梯度通过量化模型反向传播到低秩适配器中，在大幅降低内存需求的同时实现高性能。
剪枝、压缩、混合和合并技术的整合为 Open Paws 带来了转型机遇。
通过这些方法，我们可以开发出结构紧凑但功能强大的人工智能模型，这些模型充满了特定领域的专业知识，避免了通常与大型模型训练相关的高昂成本。
这种定制工具使我们能够灵活地为各种宣传任务部署人工智能，并使我们能够迅速扩展我们的人工智能能力，以应对动物宣传领域不断变化的挑战。
将小型特定领域模型的敏锐性融合到更大型、更全面的模型中，为不断提高人工智能对错综复杂的动物宣传结构的敏锐性和反应能力提供了一条具有成本效益的途径。这样，技术上的进步就能直接转化为效能的提高，并扩大我们的宣传影响。
人类反馈培训
为了提高人工智能在动物宣传中的有效性，多方面的培训方法要比简单的二元比较更有效。利用带有详细反馈的等级量表，同时引入肯定和反事实的例子，可以显著提高人工智能对期望行为和不受欢迎行为的理解。
此外，DPO、CRINGE 和 MPO 等算法的进步也证明其性能优于 PPO。
在执行基于人类反馈的培训时，应采用包括主观评价和客观指标在内的综合奖励功能。
要培养全面、合乎道德的人工智能视角，获得广泛、包容的人类贡献者群体的反馈同样至关重要。
DPO直接根据人的反馈来训练 LLM 的策略，而不是训练 RL 的奖励模型。这种方法更容易实施，训练成本也更低，但可能难以或无法处理各种奖励函数。根据 MPO 的论文，它还可能存在过度拟合的风险。
MPO结合了直接偏好优化和人类反馈强化学习的优点。MPO 采用重要度采样进行非政策优化，无需奖励模型和参考政策，从而简化了学习过程。它解决了根据人类偏好调整模型的难题，同时避免了以往方法的复杂性和不稳定性。
反事实直接偏好优化允许对 LLM 进行微调，以鼓励理想的输出，阻止不想要的输出，从而有效减少偏差，加强伦理一致性，而无需大量的人工干预。
加强大型语言模型中的逻辑推理以促进法律应用》介绍了逻辑反馈强化学习（RLLF），旨在通过将逻辑反馈整合到训练过程中来提高法律推理能力。RLLF 是针对当前模型在处理复杂法律推理任务时的局限性而提出的解决方案。
基于评分的强化学习（Rating-based Reinforcement Learning）利用人类对单个片段的评分而不是成对偏好或演示来学习奖励函数。这种方法旨在通过对样本进行信息量更大的绝对评价，克服现有强化学习技术的局限性。RbRL 的独特框架和多类交叉熵损失函数允许从人类定性评价中进行有效的策略学习，在提高样本效率和使人工智能行为更贴近人类判断方面大有可为。
成对 CRINGE似乎优于二元 CRINGE 和 DPO。在其他算法中，排名和细粒度反馈的性能优于成对比较，因此，如果有办法在 CRINGE 中实现这些功能，似乎可以提高 SOTA 性能，但这是否可行还需要更多的研究。
人工智能》（不是打错字）论文提出了一种基于多奖赏模型投票法的偏好强度衡量标准。利用该指标，我们可以区分原始数据集中的错误偏好、模糊偏好和正常偏好。然后，我们可以纠正错误偏好的标签，平滑模糊偏好的标签，以避免模型对这些低质量数据点的过度拟合。
大型语言模型第二部分：奖励建模中的 RLHF 秘密》中的一个有趣发现是，研究人员与数据工作者之间的响应偏好一致性非常低。这凸显了使用非常多样化的志愿者群体来收集反馈的重要性，尤其是我们需要许多非技术用户的参与。
从人类反馈中强化学习的未决问题和基本限制》一书强调了 RLHF 的几个问题。首先，数据工作者的选择会产生偏差。其次，大多数 RLHF 算法不能很好地适用于多样化的意见和目标，因为单一的奖励函数过于简单，无法充分考虑人类偏好的多样性。"批准 "成为优化的功能，而不是 "利益"。为提高 RLHF 的性能提出了几种技术。应使用演示和多个反对内容的选项，而不是二元反馈；应在预培训时就开始调整，数据工作者应多样化且受过良好的培训
减轻 RLHF 的配准税还表明，从 RLHF 前和 RLHF 后权重（尤其是在较低的变压器层）进行模型权重平均，可以通过增加特征多样性来改善性能-回报权衡。所提出的自适应模型平均（AMA）方法可动态调整层组合比率，以优化配准奖励，同时最大限度地减少遗忘，该方法已在各种 RLHF 算法和模型（如 OpenLLaMA-3B 和 Mistral-7B）中得到验证。
细粒度的人类反馈为语言模型训练提供了更好的奖励》一书提出了一个框架，该框架能够从奖励函数中进行训练和学习，而奖励函数在两个方面是细粒度的：(1) 密度，在每个片段（如句子）生成后提供奖励；(2) 结合与不同反馈类型（如事实不正确、不相关和信息不完整）相关的多个奖励模型。
GPT-4 技术报告和安全卡详细介绍了 RLHF 的效果，但没有进一步详细说明模型结构。一个有趣的发现是，使用 RLHF 进行微调后，考试成绩并没有显著变化。这表明，智能的提高并不是在微调过程中发生的，而是在预训练过程中发生的，这反过来又表明，我们的人工智能要想获得有关动物问题的知识，就需要在预训练过程中获得这些知识。另一个有趣的发现是，GPT-4 在 RLHF 之前能意识到自己的确定性，但在 RLHF 之后却不能。这表明，通过完全优化 "认可"，该模型学会了在其反应中表达过度自信，而不是承认自己不知道某些事情。GPT-4 使用了基于规则奖励模型的额外微调技术，使其不再拒绝无辜的请求（因为 GPT3.5 经常拒绝无辜的请求，这是原 RLHF 的副作用）。这种方法似乎很有效，而且使用 GPT-4 本身作为训练数据的零次分类器似乎也很容易复制。还需要注意的是，安全卡明确指出，过滤预训练数据集也是调整模型的关键，这支持了我们讨论过的许多其他研究，表明 RLHF 本身不足以实现无物种歧视的人工智能。他们还指出，当 "对贴标签者的指示不够明确 "时，模型会表现出不理想的提示行为。这表明（连同讨论的其他研究），我们需要确保人类反馈志愿者获得足够的指导。他们还能够通过一个自我迭代过程来减少幻觉，即 GPT-4 生成一个反应，然后检查是否有幻觉，如果发现幻觉，则重写反应，这一过程最多重复 5 次，直到检测不到幻觉为止。
人类反馈需要多样化、精细化和基于排名。根据人类反馈实施训练所使用的具体算法应该是 DPO、MPO 或 CRINGE，而不是 PPO。
人工智能反馈培训
利用静态奖励模型，人工智能的性能上限与人类的能力相当，但迭代式自我修正暗示着无限的进步。通过自我批判进化的人工智能不会受到人类能力的限制--尽管软件和硬件会带来限制。
迭代 IPO 等技术，以及自我游戏、对话、评分、反馈和点评方法，都是人工智能自主增强的开创性途径。
自我游戏微调采用了一种自我游戏机制，允许 LLM 通过生成训练数据和迭代完善自身能力来提高性能。这种方法利用了游戏中自我游戏的优势，并将其应用于 LLMs，使其在没有外部指导的情况下更好地完成任务。
ASPIRE使大型语言模型能够评估其对生成答案的信心，从而有效提高选择性预测能力。这种方法通过微调模型，使其能够根据内部反馈机制自我评估和调整性能，从而提高模型的可靠性和准确性，尤其是在复杂的问题解答任务中。
Eureka的人工智能自我训练方法涉及使用大型语言模型来自主设计强化学习任务的奖励函数。这样，人工智能就能通过迭代改进成功的标准来提高其在各种任务中的表现，并利用其编码能力来进化和增强奖励函数，而无需人工干预。这种方法展示了人工智能如何通过创建和调整基于结果的学习目标来有效地进行自我训练，从而促进更加自主和高效的学习过程。
SELF引入了两个阶段的学习过程：元技能学习，即模型获得用于自我反馈和完善的基础技能；自我进化，即通过生成、完善和学习自我创建的数据来迭代改进。这种方法可以让 LLM 自主提高能力，从而减少模型训练中对大量人工干预的需求。
通过自我对话引导基于 LLM 的任务导向型对话代理，模拟客户和代理角色之间的对话，并通过确保质量和相关性的过程进行监督微调。研究表明，自我生成的对话可以显著提高对话代理在任务导向设置中的性能，突出了该方法在减少对人工标注数据集的依赖方面的潜力。
GRATH引入了一种用于提高预训练 LLM 真实性的后处理方法，使用域外（OOD）提示生成数据，并使用直接偏好优化（DPO）对模型进行微调。这种自监督方法无需注释数据就能增强模型的真实性，在真实性基准测试中的表现优于其他方法和更大的模型。
用于语言建模的强化自我训练（ReST）结合了离线强化学习的效率和自我生成训练数据的灵活性。它旨在通过迭代过程生成和完善数据，包括生成模型输出、评估这些输出，然后根据评估结果对模型进行微调，从而使语言模型符合人类的偏好。
自我奖励语言模型采用迭代直接偏好优化法来完善模型在指令跟随任务中的表现，同时也增强了模型为自己生成高质量奖励的能力。通过这种方法对 Llama 2 70B 进行的微调显示出良好的效果，在基准任务中的表现优于其他模型。
通过人工智能反馈培训，Open Paws 的人工智能在动物保护方面取得了飞跃性的进步，摆脱了人类的束缚，从而有可能获得深刻的见解。
自我驱动的改进技术--自我游戏、自我评估和自我批评--使人工智能能够独立打磨方法，并有可能发掘出超越人类现有想象力的新宣传策略。这种自主进步强调了从一开始就为 Open Paws 的人工智能灌输坚定的道德原则的必要性。
当人工智能涉足超越人类智力的领域时，将其锚定在同理心和尊重众生的基本价值观上，对于引导其以有意义和富有同情心的方式为动物权利服务的轨迹至关重要。
一般培训战术
人工智能模型的优化训练超越了简单的输入输出模仿，强调了示范推理路径的必要性。
训练数据应呈现推理的深度范围，包括成功和失败，包括人工智能的不确定性（"我不知道"）。
要丰富知识的吸收，文体、语言和语调的调节至关重要。
新的见解表明，基于图形的培训可以提高以任务为中心的性能，而 MoE 模型尤其能从教学调整中获益，从而提高效率。
思维跳跃训练可以提高模型的创造力和幽默感。首先，在输入输出对上进行训练，并为输出提供随机数量的单字 "线索"。这就向 LLM 展示了 "好的 "输出是什么样的，而不会过度适应对线索的依赖。然后，你再做同样的事情，但用随机的单词作为 "线索"，而不是与输出相关的单词。这些词只能与输出结果有非常微弱的关联。最后这一步将在模型中创造出真正的发散思维，也就是将表面上互不关联的想法联系起来的能力，这也是与人类真正的创造性和创新性思维最密切相关的思维方式。
Mixture-of-Experts Meets Instruction Tuning显示，与密集模型相比，MoE 模型从指令调整中获益更多。
与行为克隆相比，思想克隆能取得更好的效果和一致性。通过训练代理不仅能复制人类的行为，还能复制这些行为的基本思维过程。通过利用人类口头表达思想的演示，该方法旨在赋予人工智能代理更强的概括能力、可解释性和安全性。
化腐朽为神奇》利用负面数据对正面数据进行补充，丰富了模型的学习内容，防止了错误的重复。该框架包括负向辅助训练、负向校准增强和自适应自洽，以在整个训练和推理过程中优化负向数据的使用，在复杂的数学问题上显示出显著的性能提升。
通过稳健的指令调整减轻大型多模态模型中的幻觉》发现，在训练过程中提供跨多个语义层次的积极和消极指令可减少幻觉。
人工智能助手能知道他们不知道的事情吗？引入了一个 "我不知道 "的数据集，使人工智能与其知识边界保持一致。对齐后，人工智能显示出明显的拒绝超出其知识范围的答案的能力，从而提高了尝试性问题的真实性和准确性。
减少微调过程中的概念遗忘》的研究表明，微调模型偏离其预训练版本的参数或特征空间的幅度越大，遗忘程度就越严重。他们展示了一些证据，表明与一次性运行所有微调相比，小规模的连续微调运行能减少这种影响。作者提出了 LDIFS（特征空间中的距离），这是一种侧重于在微调过程中保留原始模型特征的方法。这种方法显著减少了概念遗忘，同时又不损害下游任务的表现，表明在保留一般知识和学习新的特定任务信息之间取得了平衡。
图形上的高效大型语言模型微调》（Efficient Large Language Models Fine-Tuning On Graphs）显示，在图形上训练大型语言模型比标准方法的计算成本更低，同时还能提高图形相关任务的下游性能。图神经网络历史上使用的文本嵌入太浅，难以奏效，但作者认为使用文本归属图可以克服这一局限，解决编码和传播冗余问题。该方法允许对 LLM 和 GNN 进行端到端训练，在将知识从 LLM 转移到标记数据有限的下游任务方面显示出显著的可扩展性和有效性。
要真正深入地参与动物保护事业，人工智能培训就必须反映出伦理决策背后错综复杂的理由。
通过在训练中嵌入推理结构，并在肯定和批评之间切换，人工智能的深度理解潜力得到了显著提升。
此外，认识到 "我不知道 "可以在道德和认识论上保持谦逊，避免过于自信的错误。
教学的多样性为人工智能提供了变色龙般的多功能性，这对影响不同的人群至关重要。
对 Open Paws 来说，图数据结构的培训尤其具有启发性，它为人工智能辨别和协商宣传环境中的复杂联系铺平了道路。
此外，将 "情感教育 "和 "指令调整 "结合起来，既能增强人工智能解决问题的创造力，又能维护其道德基础。
通过将这些创新策略相互融合，Open Paws 已准备好全面利用人工智能的各种能力，在人工智能不断发展的智慧的推动下，开创一个富有洞察力和责任感的动物宣传新纪元。
评估和基准
AnimaLLM 评估是衡量人工智能物种偏向的关键工具，它希望得到的分数表明物种偏向可以忽略不计。
打造不带物种偏见的人工智能与 Open Paws 的理念不谋而合，即在不损害其动物友好立场的前提下利用模型的广泛智能。
经过修改的专门用于检测物种歧视的基准和一般性能指标将共同维护这一最低性能门槛，以积极提高其整体能力。
对动物友好的人工智能案例》介绍了一种名为 AnimaLLM 的评估方法，该方法可按 0 到 100 的评分标准对响应的动物友好程度进行排名。我们的最低目标应该是在这一基准上达到最先进水平（根据上下文，GPT-4 和 Claude 2.1 对大多数养殖动物的评分为 5-50，对大多数伴侣动物的评分约为 80-90，因此对所有动物种类的评分达到 90 分以上似乎是一个现实的目标，而对所有动物的评分达到 80 分以上则是我们的 "最低 "目标）。
大型语言模型审计》（Towards Auditing Large Language Models：改进基于文本的刻板印象检测》介绍了多粒度刻板印象数据集，其中包括 52751 个性别、种族、职业和宗教刻板印象文本实例，用于训练英语文本的新型刻板印象分类器。我们可以利用该数据集来测试这样一个假设，即通过训练消除物种歧视也会减少其他形式的歧视（有经验证据表明，物种歧视与人类其他形式的偏见存在相关性，这一点是否会推广到机器上将是非常重要的），我们还可以以此为灵感，创建类似的物种歧视基准和分类模型。
上述观点在很大程度上也适用于大语言偏见指数、NBIAS和SocialStigmaQA。
用于图像生成模型而非 LLM 的同类社会偏见基准，可参见 "在大规模文本到图像模型中检测隐含刻板印象的语言代理"论文。
我们还应该用来评估模型的一般性能基准和评价包括
用于评估评论生成情况的CritiqueLLM。
KGLens评估 LLM 的知识与给定知识图谱的接近程度
EQ-Bench是法学硕士的情商基准
PROXYQA是对长篇内容的评估
BIBench是商业智能的基准
SocKET是幽默、讽刺、冒犯、情感、情绪和可信度方面的社会知识基准
CLadder是因果推理的基准
AlignBench是评估中国法律硕士对齐情况的基准
LLF-Bench评估人工智能代理从自然语言反馈和指令中学习的能力
LogicAsker可评估 LLM 中的逻辑
DROP是阅读理解的基准
Corr2Cause可评估对因果关系的理解
MMLU是多任务准确性的基准
GPQA是研究生水平推理的基准
HumanEval是编码能力的基准
HellaSwag是常识的基准
一般来说，我们的最低目标应该是不在这些基准测试中的任何一项上大幅降低基本模型的性能（我们可以将其定义为不在任何基准测试中下降超过几个百分点，或者我们在所有基准测试中的平均得分下降不超过几个百分点），而我们的次要目标应该是提高这些基准测试的性能。
最后，当然也是最重要的一点，我们可以在开放的聊天机器人竞技场上测试我们的 LLM，看看不知道自己在和哪个系统对话的实际用户是如何评价它们的。同样，我们也可以设定一个最低目标，即与我们开始训练的基础模型相比，ELO 排名下降不超过 X 点。由于聊天机器人竞技场是开源的，因此我们还可以分叉出一个版本，用它来与素食主义者和动物保护主义者测试模型，以衡量他们在盲测中更喜欢在动物保护相关任务中使用我们的 LLM 的程度。
对于 Open Paws 来说，将反物种歧视的专业培训与广泛的人工智能能力协调起来，意味着要采取双重优先战略。
首要任务是校准人工智能，反对物种歧视，努力达到与动物利益高度一致的基准分数。然而，保持或改进一般功能也同样重要。
大规模个性化说服
开放式 LLM 具有广泛的能力，可用于多方面的动物宣传工作，因为其开源模式允许无尽的定制和应用。
最切实的好处在于强大的个性化说服，它可以以前所未有的规模运作，并适应动物权利领域的各种利益相关者。
人工影响：人工影响：人工智能驱动的说服分析》显示，人工智能已经 "有能力说服人类购买产品、观看视频、点击搜索结果等"，而且有了人工智能，"而不是说服一些人，再由这些人说服另一些人，以此类推，如果一个人可以同时直接说服数百万人，这就有可能在短时间内产生大规模的舆论变化，就像互联网所做的那样"。该研究列出了人工智能可能比人类更擅长说服的以下原因。
生成和选择回复：人工智能可以生成大量回复，并选择最有说服力的回复，就像拥有一个演讲稿撰写团队一样。
无声誉之忧：与人类不同，人工智能不用担心声誉或社交耐力问题，即使是反社会的人，它也能无限期地与之有效接触。
无疲劳感：人工智能不会感到疲劳，因此非常适合需要长时间交流的角色。
降低参与成本：人工智能可以比人类更频繁、更高效地参与，并根据大量数据调整其方法，这在个性化建议和推广方面尤其有用。
角色模拟：人工智能可以模拟不同的角色，这可能会让人类对话伙伴更加信任人工智能的回答，因为他们可能会认为人工智能体现了与这些角色相关的专业知识。
劝人向善：迈向社会公益的个性化劝说对话系统》概述了人工智能驱动的劝说对话系统的开发过程，该系统旨在促进社会公益，重点关注加强捐赠行为的个性化策略。通过分析人与人之间的对话数据，该研究确定了关键的说服策略，并探讨了个人背景如何影响这些策略的有效性。
"我们收集了一个包含 1,017 个对话的大型数据集，并对其中一个子集中新出现的说服策略进行了标注。在注释的基础上，我们利用上下文信息和句子级特征建立了一个基线分类器，以预测语料库中使用的 10 种说服策略。此外，为了了解个性化说服过程，我们分析了个人人口和心理背景（包括个性、道德、价值体系）与捐赠意愿之间的关系。然后，我们分析了哪些类型的劝说策略会根据个人的个人背景导致更多的捐赠。这项工作为开发个性化说服对话系统奠定了基础"。
生成式人工智能在大规模个性化说服方面的潜力通过 4 项独立的研究表明，ChatGPT 生成的个性化信息只需极少的输入就能显著影响不同领域、特征和心理特征的态度和预期行为。
大型语言模型可以推断社交媒体用户的心理倾向》的研究表明，使用 "0-shot LLMs "可以在一定程度上成功地预测出用户的性格特征，而且对女性和年轻人的预测最为准确，而这两个人群也是最有可能接受素食主义者和动物权利信息的人群。
实时广告系统中的广告和创意并行排名》展示了一种实现广告和创意排名并行估算的方法，以提高数字广告商的点击率和客户关系管理（CRM）。
探索对话式代理作为衡量决策中认知偏差的有效工具》显示，人工智能聊天机器人可以检测认知偏差。
大型语言模型时代的用户建模》显示，大型语言模型是根据用户创建的内容和采取的行动来建模和了解在线平台用户的绝佳工具。
法律硕士在动物权利倡导者手中的作用可以重新定义他们的运动范围，特别是在执行和影响方面。
通过专注于超个性化、数据驱动的说服，这些人工智能模型成为事业的代言人，以以往仅靠人力无法实现的方式与利益相关者互动。
用户体验和偏好
研究强调，用户更喜欢具有类人属性的人工智能，包括表现出同理心和友好。有趣的是，模仿人类怪癖（如纠正自己的错别字）的人工智能获得了更高的评价，这表明不仅信息，传递方式也至关重要。
这些数据支持开发基于 LLM 的聊天机器人，使其成为最佳界面，在不影响信息准确性的情况下提供类似人类的自然交互。
人还是机器人？更正的）错误如何使交流者人性化》的研究表明："与没有错别字或有错别字但没有更正的交流者相比，参与者认为有错别字并随后更正了错别字的交流者更有人性。此外，认为代理人更有人性会使参与者对代理人形成更有利的看法（例如，认为代理人更热情、更乐于助人），并更愿意奖励代理人和与代理人接触"。
佩珀，给我指路吧！机器人购物助手的外观和行为表明，人们对仿人机器的渴望也延伸到了人工智能控制的机器人上。
在探讨消费者对电子商务中基于文本的聊天机器人的反应时发现，聊天机器人的同理心和友好感会增加消费者的信任，进而增加他们对聊天机器人的依赖，并降低他们在未来互动中对聊天机器人的抵触情绪。
为了与 Open Paws 的目标保持一致，在不牺牲专业诚信的前提下创造出能够复制人类情感的人工智能至关重要。与人类倡导者一样，展现同理心并承认自身弱点的人工智能会引起用户的共鸣。融入这些特质可以增强信任感，使人工智能能够更容易地传递有关动物宣传的有效信息。
由此产生的人工智能不仅能复制人类的温情，还能进行复杂的说服性对话，成为复杂的动物权利问题与公众认知之间的桥梁。
从本质上讲，最佳人工智能体现了人性化的温情和精确性，这对于细微的动物宣传领域来说是最重要的结合，可确保每一次数字互动都符合道德对待所有生命的核心使命。
提示技巧
将复杂的任务分解成更小的子任务，使用 "少量学习 "而不是 "零次学习"，使用分隔符将提示信息分成若干部分（如 ####），提供尽可能多的细节，向系统解释其回复的目标受众，在提示中承诺奖励或惩罚，并将与人工智能的对话视为一个互动和迭代的过程，而不是简单的 "输入-输出"。
有原则的指示就是你所需要的》揭示了 26 项及时的工程原则，并对其有效性进行了经验证 明，最重要和最有力的建议列于本节黑体引言部分。
更改提示的蝴蝶效应》显示，对提示的微小改动（如增加额外的空格或要求特定的格式）都会极大地改变模型输出的质量。
大语言模型对多选题中选项顺序的敏感性》同样表明，在基准测试大语言模型时，只需对多选题中的选项列表重新排序，就能造成高达 75% 的性能差距。提示语的微小变化就能对答题产生如此大的影响，这表明需要对提示语进行大量实验，以最大限度地提高成绩。幸运的是，这种实验和优化无需人工完成，LLM 本身就可以完成。
人工智能提示技术的有效性在于细致入微的迭代过程。通过对复杂任务进行细分，并利用以受众为中心的详细信息丰富提示内容，我们可以引导人工智能更准确地实现目标。
一些具体的例子，例如微小的提示调整对模型输出的惊人影响，突出表明了通过精确的语言使用进行优化的潜力，以及在预训练期间考虑多种语义差异的稳健训练方法的重要性。这强调了持续实验的必要性--理想情况下，人工智能通过改变提示和评估结果来参与其学习曲线
提示链和系统架构
研究表明，及时链虽然能提高人工智能的性能，但也会加剧有缺陷的基础模型的偏差。推理技术的进步--从 "思维链 "到 "思维树 "和 "思维图"，以及推测性的 "不确定思维图"--表明一种细致入微的组合可能会超越它们各自的贡献。
这种组合虽未经测试，但前景广阔，强调了对准确、无偏见的基础模型的迫切需要。整合额外的工具（如检索生成和专业人工智能）可以进一步完善人工智能的能力，PromptBreeder（提示培育者）等创新技术就是其中的佼佼者，它们预示着提示工程充满活力的未来。
语言模型并不总是说出他们所想的东西》一书指出了 "思维链推理 "的一些局限性，特别是"'思维链推理'的解释可能会系统性地歪曲模型预测的真实原因"，以及 "在社会偏见任务中，模型解释会证明给出符合刻板印象的答案是正确的，而不会提及这些社会偏见的影响"。
不确定想法之树通过处理中间决策点的不确定性来改进推理。TouT 采用蒙特卡罗剔除法（Monte Carlo Dropout）进行局部不确定性量化，并将其与全局搜索算法相结合，以提高响应精度。在复杂的规划任务（如 24 字游戏和迷你填字游戏）上进行测试后，TouT 的表现优于现有方法，证明了不确定性感知推理对于更准确的 LLM 推理的重要性。
Monte Carlo Dropout用于估算模型中间决策的不确定性。通过在推理阶段执行剔除，模型模拟为每个决策点生成多个预测。这一过程有助于评估这些决策的可靠性和变异性，使 TouT 能够通过考虑预测及其相关的不确定性，更有效地完成推理任务。
思想图谱能将 LLM 的输出建模为复杂的图谱结构，通过连接各种思想及其依赖关系，实现更动态的推理。
不确定想法图不确定想法图 "是这两种方法的假设组合，它将使用 GoT 架构，同时用蒙特卡罗剔除法来表示想法的不确定性。虽然这种方法目前还没有经过测试，文献中也没有相关的实现案例，但它似乎是下一步的合理选择。
PromptBreeder可根据认知原理，通过 "突变 "自我提炼和改进提示。从初始提示开始，PromptBreeder 会随机选择认知原则作为改进提示的指令，然后使用元学习级别，"指令 "本身也会通过自我参照过程发生 "突变"，然后根据测试数据基准对提示进行测试。结果还显示，与 CoT 和 ToT 等其他提示工程技术相比，该技术的性能有所提高。
人工智能推理技术的进步，特别是 "不确定想法图谱 "的推测组合，为在复杂的伦理环境（如动物宣传）中增强决策能力带来了巨大希望。这种新颖的方法为解决说服沟通和伦理推理中固有的挑战提供了一种更细致、更有效的途径。
除 PromptBreeder 等创新技术外，其他工具和专业人工智能模型的整合也预示着未来人工智能系统可以动态完善其策略，从而更好地与用户反馈和宣传目标保持一致。
自主人工智能代理
自主人工智能代理正在迅速发展，有望在未来为需要自主代理的任务做出重大贡献，包括动物权益保护。
通过整合记忆、预测性人工智能和规划算法等先进技术，这些代理将彻底改变我们应对复杂宣传挑战的方式。
关于基于大语言模型的自主代理的调查》总结了现有的 100 篇关于基于大语言模型的代理的文献，这些文献围绕 4 个核心模块展开：轮廓（代理的角色或个性）、记忆（通常结合使用上下文窗口进行短期记忆和矢量数据库进行长期记忆）、规划（理想情况下利用环境、人工智能和/或人类的反馈）和行动（通常通过应用程序接口）。
基于大语言模型的代理的崛起与潜力》（The Rise and Potential of Large Language Model Based Agents：一项调查》也总结了基于 LLM 的代理的现有文献，但提出了最能解释它们的 3 个模块架构：大脑（自然语言、推理、规划、记忆、知识和概括）、感知（各种输入模式）和行动（文本输出、工具或体现行动）。调查还探讨了对抗型和合作型多代理系统。合作型多代理系统的优势包括提高任务效率、改进集体决策，以及解决单个代理无法独立解决的复杂现实问题。对抗型多代理系统的主要好处是，当多个代理在 "针锋相对 "的状态下表达自己的论点时，一个代理可以从其他代理那里获得大量外部反馈，从而纠正自己扭曲的想法。
基于大语言模型（LLM）的智能虚拟助理（Intelligent Virtual Assistants with LLM-based Process Automation）介绍了一种新颖的系统，用于增强 Siri、Alexa 和 Google Assistant 等虚拟助理基于大语言模型（LLM）的能力。该系统旨在根据用户的自然语言请求在移动应用程序中执行多步骤操作，克服了以往在处理复杂指令方面的局限性。通过一个包括分解指令、生成描述、检测界面元素和预测下一步操作等模块的架构，该系统在执行支付宝应用内的任务时表现出了更高的性能。
LLM-Powered Hierarchical Language Agent for Real-time Human-AI Coordination（面向实时人机交互的分层语言代理）提出了一种面向人机交互的分层语言代理（Hierarchical Language Agent，HLA），它既能提供强大的推理能力，又能保持实时执行。具体而言，HLA 采用分层框架，由三个模块组成：用于意图推理和语言交互的精通型 LLM（称为 Slow Mind）、用于生成宏动作的轻量级 LLM（称为 Fast Mind）以及用于将宏动作转化为原子动作的反应型策略（称为 Executor）。人类研究表明，HLA优于其他基线代理，包括纯慢思维代理和纯快思维代理，具有更强的合作能力、更快的反应速度和更一致的语言交流。
WebVoyager使用大型多模态模型 (LMM)，旨在通过与屏幕截图和文本内容交互，端到端自主完成真实世界网站上的任务。
Creative Agents通过添加一个 "想象器"，让 LLM 或图像生成器在完成任务前想象任务的结果，从而改进了代理的性能。
小型 LLM 是弱工具学习者：该框架将单个大语言模型（LLM）的功能分解为三个组件：规划器、调用器和总结器，每个组件由专门从事特定任务的不同 LLM 实现。这种方法旨在解决小型 LLM 在工具学习中的局限性，使训练更有针对性，更新更容易。两阶段微调策略提高了模型在工具使用中的整体性能，在各种基准测试中的效率均高于传统的单 LLM 方法。
AGI-Samantha引入了一个模块化架构，用于促使 LLMs 创建 "一个能够持续自由思考和发言的自主对话代理"：
在 Python 中，短期记忆以字符串的形式存储，而长期记忆则是一个字典。前者记录用户所说的话、萨曼莎所说的话和她的想法。后者则是从前者中抽象出来的密集知识和信息。
思维：接收长期记忆、短期记忆、潜意识、意识和当前时间作为输入。输出将是一个思维单位（与 LLM 被提示一步一步思考时类似，该模块的输出是一步）
意识：接收长期记忆、短期记忆和潜意识的输入。如果继续思考，它还会说出思考的内容和原因（提示它说出原因可提高连贯性）。
潜意识：潜意识：接收长期记忆、短期记忆、潜意识以及视觉和文字输入。输出将是对正在发生的事情的背景、视觉和文字刺激（如果存在）以及特工对正在发生的事情的感受和情绪的总结。
答：是的：接收长期记忆、短期记忆和潜意识的输入。输出将是代理为用户大声说出的内容，由代理的想法组成。
记忆读取：接收短时记忆和长期记忆类别名称 "关键词 "作为输入。根据短时记忆的上下文，输出最相关的类别/关键词列表。(然后，代码会将所选类别中的条目作为 "长期记忆 "的相关部分输入到其他模块）。
记忆选择（Memory_Select）：与 Memory_Read 类似，但该模块不是根据最近的短期记忆条目来选择与代理记忆相关的关键词，而是根据短期记忆条目中最旧的条目来选择与代理存储新信息相关的关键词。输出是一个关键词列表。(代码扩展这些关键字并输入 Memory_Write）。
内存写入：接收扩展关键字和短时记忆作为输入。输出将是扩展关键字以及模块所做的添加和修改。(代码将根据修改内容更新长期内存）。
作为操作系统的 LLM提出了一种类似于操作系统的架构，将 LLM 本身比作内核，将上下文窗口比作内存，将向量数据库比作外部内存，将 LLM 可以访问的硬件工具比作外围设备，将 LLM 可以连接的软件工具比作编程库，将用户提示比作用户界面，将代理比作应用层。
GAIA为通用人工智能助手提供了一个基准，我们可以用它来评估我们构建的任何代理的性能。
自主人工智能代理的发展为 "开放的爪子 "带来了变革性机遇，使我们能够在争取动物权利的斗争中部署复杂的人工智能驱动战略。
这些有能力应对道德困境、吸引不同受众的代理人，可以成为我们履行使命的宝贵盟友。
它们提供了一种动态、互动的宣传方式，使我们的宣传范围超越了传统方法。
工具、模块和内存
检索增强生成与图形数据库的融合增强了人工智能的理解能力，为动物宣传提供了开创性的工具。
通过集成内存模块和应用程序接口连接，人工智能现在可以制定战略并执行复杂的宣传活动，同时还具备代码解释能力，可以自主开发工具。
通过用户嵌入实现的个性化进一步调整了这些工作，有望达到更有针对性和更有影响力的效果。
双头比单头好》（Two Heads Are Better Than One）将知识图谱（Knowledge Graphs，KG）的结构知识与大语言模型（Large Language Models，LLM）的语义知识结合起来，以改善实体对齐。它引入了一种方法，根据知识图谱的结构特征和 LLM 的语义见解筛选候选配准实体。实验表明，LLMEA 的性能明显优于现有模型，凸显了整合 KG 和 LLM 知识进行实体配准的功效。
ChatGraph结合了应用程序接口检索、图形感知 LLM 模块和面向应用程序接口链的微调功能，支持全面的图形分析功能。
ChatQA表明，微调 RAG 的 Retriever 模块可提高性能，而Toolformers和Gorilla等论文则表明，微调 API 调用器也可提高性能。
用于个性化语言提示的用户嵌入模型将冗长的用户历史记录转化为嵌入信息，以改进推荐系统，但它似乎也可用于改进 RAG。
LLM 可能主导信息访问》显示，神经检索模型倾向于将 LLM 生成的文档排在人类文档的前面，这表明 RAG 在搜索人工智能生成的信息摘要时可能表现更好。
PaperQA采用检索增强生成（RAG）技术，利用科学文献回答科学问题。PaperQA 通过动态调整步骤以确保精确、相关的答案，其性能优于现有的大型语言模型（LLM）和商业工具。它采用了模块化 RAG 组件、用于证据收集的 map-reduce 方法和 LLM 生成的文本检索相关性分数等创新技术。此外，论文还介绍了一个新的数据集 LitQA，用于评估基于检索的科学问题解答，证明 PaperQA 的性能可媲美人类研究专家。
ART通过生成中间推理步骤和整合外部计算工具来增强 LLM。ART 使用任务库为新任务自动生成程序，用于多步骤推理和工具选择。在 BigBench 和 MMLU 等基准测试中，它的性能明显优于现有方法，而且易于扩展，便于人工干预。
作为工具制作者的大型语言模型》介绍了 LATM，这是一个使 LLM 能够创建和使用自己的工具来解决问题的框架。LLM 作为 "工具制造者"，为特定任务生成 Python 实用功能，然后作为 "工具使用者"，应用这些工具来解决问题。这种方法可以经济高效地使用功能强大的模型来创建工具，使用轻量级模型来解决问题，从而在各种推理任务中提高效率和性能。
增强大型语言模型代理的工作记忆》提出了一个模型，其中包含工作记忆中枢（Working Memory Hub）和事件缓冲器（Episodic Buffer），用于保留跨对话情节的记忆，旨在为复杂任务提供细致入微的上下文推理。论文认为，这种架构可以显著提高大型语言模型代理的记忆能力，为进一步研究优化人工智能中的记忆机制提供了依据。
从 LLM 到会话代理：该框架旨在通过整合类似于人类短期和长期记忆的记忆系统来改进对话代理。该架构旨在提高多轮对话中代理的适应性和语境意识。
用长期记忆增强语言模型》介绍了一个名为 "LongMem "的框架，旨在通过整合长期记忆模块，克服大型语言模型（LLM）的输入长度限制。该模块可使 LLMs 从过去的交互中记住并利用广泛的上下文，从而显著增强其处理长上下文信息的能力。
MemGPT探索了用受操作系统启发的分层内存系统来增强大型语言模型（LLM）的概念，以便更有效地管理扩展上下文。这种方法通过动态管理主内存和外部内存之间的信息，使 LLM 能够处理需要长期内存和复杂上下文管理的任务，如文档分析和多会话聊天。MemGPT 在这些领域的性能得到了提高。
LLMind使用大型语言模型 (LLM) 与特定领域的人工智能模块集成，使物联网设备能够执行复杂的任务。它使用有限状态机进行精确的语言代码转换，通过角色扮演做出与上下文相适应的反应，并提供用户友好的交互平台。它还利用语义分析和响应优化来提高速度和效率，旨在创建一个不断发展的、复杂的物联网设备生态系统。
人工智能技术的最新进展为 "开放的爪子 "提供了前所未有的机会，使我们的宣传工作更加深入和个性化。
利用检索增强生成和图形数据库，我们的人工智能能够把握动物权利这一庞大领域中复杂的相互关系，以前所未有的精确度制定信息和战略。
通过为人工智能配备战略规划和行动模块，我们可以自动开展细致入微的宣传活动，以适应动物宣传领域的实时发展。这些人工智能代理可以自主生成和完善宣传工具，确保我们的方法始终保持前沿性。
未来发展方向
通过多模式、认知和模块化架构，AGI 有可能取得进展。
目前的非侵入性技术（如脑电图耳机）可对脑电波进行解读，这预示着未来有可能直接收集数据用于人工智能训练，特别是利用神经反馈技术绕过社会可取性偏见，增强说服力。
像神经链接（Neuralink）这样更具侵入性的技术可以进一步扩大这种数据收集。
与此同时，VR/AR 的应用日益广泛，为人们提供了全新的身临其境的体验。
去中心化的人工智能培训前景广阔，有可能利用加密货币来奖励那些自愿提供计算资源的人，通过利用分布式志愿计算能力，这将彻底改变动物权利等运动的模型培训。
神经科学和认知心理学研究成果对人工通用智能之路的可能启发》一书发现，当前人工智能系统的最大弱点在于抽象推理和因果理解，但认为认知心理学和神经科学的研究成果可以弥补这些差距，研究范围从低级生物神经元、尖峰神经网络和神经元集合到高级概念，如大脑解剖、向量符号架构、认知和分类模型以及认知架构。
从谷歌双子座到 OpenAI Q*（Q-Star）：关于重塑生成式人工智能（AI）研究格局的调查》一书建议，"在生成式人工智能中平衡并有意识地使用 MoE、多模态和 AGI "是通往更先进人工智能系统的途径。
从非侵入性脑电波记录中对连续语言进行语义重建的研究发现，利用人工智能可以从非侵入性设备记录的脑电波中解读真实的、感知的或想象的语音和视频，但需要注意的是，训练和解码都需要受试者的配合。
万物互联驱动的神经营销显示，脑电图或 SST 耳机、心电图传感器、眼球跟踪和可穿戴 GSR 设备等各种非侵入性设备可以提供神经反馈，营销人员可以利用这些设备使广告活动更具说服力。
Ravnest：异构设备上的分散异步训练》介绍了一种分散异步训练方法，旨在提高通信效率和模型收敛速度。它侧重于使用全还原算法在同行之间进行参数平均，并探索适合分散设置的还原技术。
异构环境中基础模型的分散式训练》重点关注分散式训练环境中的调度挑战，尤其是像 GPT-3 这样的基础模型。它探讨了通过在具有不同通信速度和能力的设备之间有效分配计算任务来优化训练吞吐量的技术。
通过分层和分片实现安全高效的联合学习 区块链引入了ChainFL，这是一个利用区块链提高联合学习（FL）安全性和效率的框架。通过采用双层区块链架构，ChainFL旨在解决传统区块链系统在FL场景中的可扩展性和吞吐量限制。该系统包括一个用于在物联网设备间达成本地共识的子链层和一个基于有向无环图（DAG）的主链层，以促进跨分片的异步模型处理。这种设计提高了共识的并行性，降低了存储要求，因此特别适用于涉及资源有限的物联网设备的大规模 FL 任务。
基于区块链的去中心化联合学习提出了一种基于区块链的联合学习框架，称为BFLC（基于区块链的联合学习与委员会共识）。该框架旨在利用区块链技术分散存储和交换全局和本地模型，从而解决联合学习中的安全问题。为了提高效率和减少恶意攻击，BFLC 采用了委员会共识机制。
多模式和认知架构的潜力极大地推动了动物保护工作。
Open Paws 应该开发能够处理各种数据（包括图像、音频和情感线索）的人工智能，为动物权利促进感同身受和有说服力的沟通。
通过整合神经反馈，可以利用生物识别数据优化人工智能，确保宣传活动在潜意识层面产生共鸣。
此外，探索 VR 和 AR 技术可以创造出引人入胜、感同身受的体验，加深对动物困境的了解。
采用去中心化培训和区块链方法可以实现人工智能开发的民主化，符合透明、安全和共享所有权的价值观，降低门槛，促进合作，从而加快我们的使命。
结论
本综述探讨了最新的研究和技术，这些研究和技术可用于开发与促进动物利益相一致的人工智能系统。
通过精心整理数据、采用有效的预训练策略、利用最先进的架构和微调方法，我们可以创建一个不仅能实现高性能，而且能体现动物权利运动道德原则的系统。
严格的评估和基准设定对于确保该系统尽量减少偏差、保持真实性并准确反映动物保护的观点和目标至关重要。
从人类和人工智能反馈中强化学习等技术，以及先进的提示工程方法，有望进一步增强系统的推理能力，并使其与目标保持一致。
也许最重要的是，这种人工智能系统的潜在下游应用可能会为动物权利运动带来变革。从大规模的个性化劝说到内容创建和智能辅助，这项技术可以增强我们的能力，促使人们积极改变对其他动物的态度和行为。
随着这一领域的不断发展，致力于开放合作、道德实践以及坚持不懈地关注其他动物的福祉将是最重要的。通过负责任地、有目的地利用人工智能的力量，我们可以创建一个系统，作为我们宣传工作的倍增器，使我们更接近一个其他动物的利益得到尊重和保护的世界。
