Revisión bibliográfica sobre el desarrollo de la inteligencia artificial para defender los derechos de los animales

Resumen ejecutivo

El campo de la inteligencia artificial (IA) y el aprendizaje automático (AM) está evolucionando rápidamente, lo que presenta tanto oportunidades como retos para organizaciones como Open Paws, que pretenden aprovechar estas tecnologías para la defensa de los animales.

Esta revisión de la literatura explora las últimas investigaciones y técnicas que pueden aprovecharse para desarrollar un sistema de IA especialmente alineado con la promoción de los intereses de los animales.

Principales conclusiones y recomendaciones:

• Para entrenar sistemas de inteligencia artificial libres de prejuicios especistas y adaptados a diversos contextos culturales y lingüísticos, es fundamental una conservación eficaz de los datos, que incluya conjuntos de datos multilingües y técnicas de depuración.

• Los enfoques estratégicos de preentrenamiento, como el ajuste de instrucciones y el entrenamiento basado en grafos, pueden mejorar la capacidad de razonamiento de la IA y sus conocimientos específicos del dominio.

• Las arquitecturas de sistemas como la Mezcla de Expertos (MoE) y los diseños cognitivos modulares son prometedores para crear agentes de IA adaptables y especializados capaces de tomar decisiones y ejecutar tareas de forma autónoma.

• El perfeccionamiento de los modelos a partir de los comentarios de las personas y de la IA, junto con métodos avanzados de ingeniería de avisos y de encadenamiento de avisos, ofrece vías para la mejora continua del rendimiento del sistema y de los alineamientos éticos.

• Para mejorar la eficacia y el alcance de las iniciativas de defensa de los animales de forma innovadora y éticamente responsable, en el futuro habrá que seguir avanzando en arquitecturas de IA multimodales, cognitivas y descentralizadas, y aplicar tecnologías emergentes como las interfaces cerebro-ordenador, los dispositivos de neurorretroalimentación y la realidad virtual.

Método

Hemos extraído nuestro material de una serie de artículos publicados recientemente, sobre todo en los últimos tres meses, aunque algunos trabajos fundacionales se remontan a épocas más lejanas.

Nuestro proceso de selección consistió en seguir una fuente RSS combinada de varias revistas que publican artículos sobre IA y seleccionar los que coincidían con nuestra misión, lo que dio como resultado unos 1.000 resúmenes.

Nuestra exploración comenzó con estos resúmenes, ampliándose después a una lectura en profundidad y selectiva. Se descartaron todos los estudios que se consideraron irrelevantes tras una investigación más profunda.

Hemos organizado este repaso por aplicabilidad, empezando por la investigación práctica inmediata y terminando con las orientaciones futuras que pueden ser pertinentes a medida que Open Paws crezca y la tecnología de IA mejore.

La esencia de cada artículo se resume en términos sencillos y se enlaza directamente, lo que simplifica la investigación y ofrece una instantánea de su importancia para el avance de nuestra misión.

La revisión comienza con la creación y gestión de bases de datos, pasa por el preentrenamiento LLM y el ajuste basado en la retroalimentación (ya sea de humanos o de IA), se adentra en las complejidades de las cadenas de impulsos y las arquitecturas de agentes, y culmina con las capacidades prospectivas de IA que son prometedoras para el futuro de la IA de Open Paws.

Gestión y conservación de bases de datos

Una gestión de datos eficiente y sofisticada es la piedra angular de la defensa de los animales impulsada por la IA de Open Paws.

Aprovechando la automatización avanzada, pretendemos refinar nuestra base de datos con sólidos marcos de preprocesamiento, normalización y mejora de la calidad.

• Un estudio sobre la gestión de datos para LLM descubrió que si se entrena un LLM más allá de 1 época, el entrenamiento adicional debe realizarse en una pequeña subsección de los datos de mayor calidad. Los autores recomiendan tener una puntuación de calidad por la que filtrar dentro de la base de datos y deduplicar automáticamente utilizando la búsqueda de similitud semántica (es decir, eliminar las entradas que sean demasiado similares semánticamente). Los autores concluyen que es esencial disponer de una gama diversa de dominios e instrucciones y que las instrucciones más complejas dan lugar a un mejor rendimiento posterior.

• SemDeDup puede utilizarse para encontrar y eliminar la deduplicación semántica en conjuntos de entrenamiento para LLM.

• Podemos utilizar tasksource para el preprocesamiento de datos y la normalización de los conjuntos de datos de HuggingFace, formateándolos automáticamente de forma coherente.

La automatización de la gestión de las bases de datos de Open Paws es fundamental para transformar grandes conjuntos de datos en información práctica.

Extracción y estructuración de datos

Con las herramientas de IA, Open Paws ve una vía para transformar los datos no estructurados en información valiosa para las estrategias de promoción. Sin embargo, garantizar la precisión y la imparcialidad de las extracciones automatizadas sigue siendo primordial.

• Jellyfish, un LLM de código abierto creado específicamente para el preprocesamiento de datos, también puede utilizarse para otras tareas relacionadas con los datos, como la correspondencia de esquemas y entidades. Es un modelo pequeño que puede ejecutarse en una sola GPU con 13B de parámetros y podría utilizarse para automatizar gran parte de la extracción y estructuración de datos que necesitamos.

• Bonito es un modelo de código abierto para convertir cualquier dato no estructurado en datos de entrenamiento específicos de una tarea para el ajuste de instrucciones.

• LLMiner también puede extraer pares de preguntas y respuestas de documentos no estructurados mediante el razonamiento de cadena de pensamiento.

• Este artículo de Towards Data Science muestra un marco automatizado para convertir cualquier texto en un gráfico de forma automática.

• MANTRA puede utilizarse para extraer y analizar tendencias a partir de datos no estructurados de las redes sociales.

• AutoIE puede utilizarse para extraer datos de PDF científicos

• Podemos utilizar un enfoque de pirámide de conocimiento para extraer conocimiento de alto nivel a partir del conocimiento de bajo nivel existente en los grafos.

La perspectiva de automatizar la conversión de los rumores de las redes sociales y los textos científicos densos en conocimientos digeribles y aplicables es apasionante para Open Paws.

Aun así, la adopción de estas potentes herramientas exige rigor en el control de calidad y adaptabilidad, garantizando que los datos que extraemos sean fiables y pertinentes, fomentando esfuerzos de promoción que no sólo sean reactivos, sino que también resuenen profundamente con nuestra causa.

Datos sintéticos

Los datos sintéticos son una herramienta de gran potencial y peligro para el desarrollo de la IA.

Cuando se utiliza con criterio, favorece la generalización y enriquece la simulación de conversaciones; sin embargo, si se gestiona mal, puede socavar la estabilidad del modelo y funciones cognitivas como el razonamiento.

Es imprescindible una mezcla juiciosa de datos sintéticos y auténticos.

• El artículo La maldición de la recursividad demuestra cómo los datos sintéticos pueden provocar el colapso de los modelos, haciendo que éstos olviden los datos de su preentrenamiento. Esto subraya la necesidad de tener mucho cuidado al utilizar datos sintéticos.

• The False Promise of Imitating Proprietary LLMs demostró que el entrenamiento de modelos pequeños con datos sintéticos de modelos grandes aumenta las alucinaciones y disminuye las capacidades de razonamiento y lógica. Esto subraya la importancia del preentrenamiento con datos de alta calidad, no del ajuste fino con datos de baja calidad.

• El simulador de usuario Socratic fue capaz de mejorar el rendimiento de los LLM básicos con datos sintéticos modelando el entrenamiento en conversaciones reales entre humanos e IA y utilizando después este modelo afinado para producir resultados que luego se convierten en las entradas para el entrenamiento de un nuevo modelo llamado PlatoLM. Esto demuestra que, cuando se utilizan datos sintéticos, para ser eficaces deben modelarse los datos generados por humanos lo más fielmente posible.

• Impossible Distillation demostró que utilizando la autodestilación entre un LM de estudiante y profesor, se puede generar un conjunto de datos muy diverso y de alta calidad sin retroalimentación humana. Cuando se entrenó un LM con estos resultados, obtuvo resultados significativamente mejores con muchos menos parámetros y generalizó mejor que los LM entrenados con datos obtenidos de personas. Esto demuestra que destilar los datos sintéticos hasta el núcleo del conocimiento produce resultados mucho mejores que utilizar datos sintéticos "brutos" (es decir, conversaciones exportadas con un sistema como ChatGPT).

• Genixer demuestra que el uso de modelos multimodales para generar datos de ajuste de instrucciones puede mejorar el rendimiento en tareas de subtitulado de imágenes y control de calidad visual. Esto demuestra que los datos sintéticos son más útiles en tareas multimodales.

Para Open Paws, los datos sintéticos pueden ser instrumentales o perjudiciales según cómo se utilicen. Nuestra estrategia debe incluir un enfoque equilibrado, multimodal, destilado y humano en la síntesis de datos.

Lengua y lingüística

Con sólo incorporar un 1% de datos a medida y de alta calidad en idiomas adicionales, la IA puede dominar nuevas lenguas con eficacia.

Debemos dar prioridad a los contenidos auténticos de los activistas locales y perfeccionar nuestro filtrado de datos, con un enfoque vigilante para eliminar el sesgo especista.

Es necesario un esfuerzo concertado para acoger la diversidad lingüística, especialmente para garantizar que nuestro sistema no se forme sólo o centralmente en materiales y fuentes de información en inglés.

Esto será vital para que nuestros modelos de IA sigan siendo culturalmente sensibles y lingüísticamente capaces.

• La lengua tiene un efecto mucho más profundo en nuestra percepción del mundo de lo que solemos pensar, y gran parte de él no puede captarse sin la comprensión de las personas que hablan esa lengua de forma nativa. Por ejemplo, este trabajo demostró que los hablantes de árabe y de inglés ven el tiempo como algo que se mueve en direcciones diferentes: los árabes lo ven como algo que se mueve de derecha a izquierda y los ingleses lo ven como algo que se mueve de izquierda a derecha. Si tradujéramos conceptos sobre cómo el tiempo se sitúa en el espacio utilizando únicamente traducciones automáticas palabra por palabra, pasaríamos por alto este matiz, lo que muestra un pequeño ejemplo de por qué debemos utilizar textos escritos por hablantes nativos para que nuestra base de datos sea multilingüe, y no depender exclusivamente de las traducciones automáticas.

• Existe una hipótesis llamada relatividad lingüística que sugiere que la lengua influye y moldea la visión del mundo de sus hablantes y su cognición. determina pensamiento) es probablemente falsa, hay pruebas empíricas sólidas que apoyan la versión más débil de esta afirmación (que la lengua influye en influye en el pensamiento). Esto parece generalizarse tanto a la IA como a los humanos, ya que la IA suele responder de forma diferente a la misma pregunta cuando se traduce a un idioma distinto.

• Especialmente preocupante para nosotros es el hallazgo de The Language Barrier, según el cual es mucho más probable que los LLM produzcan respuestas inseguras o irrelevantes a preguntas maliciosas en lenguas de escasos recursos (aquellas que aparecen con poca frecuencia en los datos de preentrenamiento). Este efecto parece estar "codificado" en el LLM durante el preentrenamiento y no puede deshacerse posteriormente mediante el ajuste de instrucciones. Esto significa que si no disponemos de datos suficientes en un idioma durante el preentrenamiento, es muy poco probable que podamos avanzar mucho en la eliminación del especismo en ese idioma durante el ajuste fino, incluso si realizamos un ajuste fino en ese idioma.

• Por suerte, no necesitamos enormes conjuntos de datos en lenguas subrepresentadas para lograr un impacto significativo durante el preentrenamiento. LLaMA Beyond English descubrió que los modelos pueden alcanzar la máxima transferencia de conocimientos y calidad de respuesta en lenguas subrepresentadas con menos del 1% de los datos de preentrenamiento. Así pues, aunque la inmensa mayoría de nuestros datos estén en inglés, basta con tener al menos una pequeña cantidad en otros idiomas para ver enormes saltos de rendimiento en tareas posteriores para esos idiomas infrarrepresentados; sin embargo, Open Paws tomará medidas adicionales para asegurarse de que nuestro conjunto de datos sea accesible a muchas otras comunidades lingüísticas y conocer sus experiencias y perspectivas. Es importante que no sólo seamos capaces de entender o generar textos en otras lenguas, sino que también seamos sensibles a sus contextos culturales.

• Una consideración adicional es que los LLM pueden tener dificultades con grupos lingüísticos como el chino, en comparación con otras lenguas que utilizan escrituras o alfabetos romanizados. Los LLM que utilizan enfoques basados en tokens han tenido problemas con la planificación de tokens y la representación de cadenas de caracteres chinos como tokens. Esto se demostró en el artículo sobre los LLM sin tokens, en el que los modelos lingüísticos basados en tokens tendían a fallar en las pruebas de ortografía china, mientras que los LLM sin tokens que utilizaban caracteres o bytes en lugar de tokens tenían un rendimiento mucho mejor.

• Una posible explicación es la diversidad de caracteres chinos en comparación con el inglés. El inglés contiene 26 caracteres, mientras que el chino tiene más de 50.000 de uso común, y el número de posibles símbolos aumenta exponencialmente a medida que se incrementa el número de caracteres por símbolo (por ejemplo, si tenemos un símbolo de 3 caracteres de longitud, hay 17.576 posibles símbolos en inglés y 125.000.000.000.000 posibles símbolos en chino).

• También hay muchas diferencias culturales y lingüísticas entre las distintas variantes lingüísticas que utilizan caracteres chinos (por ejemplo, Taiwán y China tienen contextos culturales y lingüísticos muy diferentes, mientras que el mandarín y el cantonés utilizan los mismos caracteres a pesar de presentar numerosas diferencias).

• El LLM de Taiwán es un ejemplo de modelo y conjunto de datos de código abierto creado para abordar las diferencias culturales y lingüísticas entre Taiwán y China. En general, podemos aprender de los defensores globales y locales cuál es la mejor manera de interactuar con sus comunidades lingüísticas: allí donde los métodos comunes de LLM tienen problemas de sensibilidad y concienciación cultural, deberíamos buscar en esas comunidades lingüísticas respuestas sobre cómo representar mejor su lengua.

Tenemos que asegurarnos de recopilar un conjunto de datos diverso y multilingüe para el preentrenamiento y contar con voluntarios locales de una amplia variedad de regiones y culturas que participen en la recogida de opiniones.

También deberíamos considerar la posibilidad de entrenar un modelo específico en chino que opere con bytes o caracteres, y otro modelo multilingüe que opere con tokens para otros idiomas.

Múltiples modalidades

Las capacidades multimodales son la piedra angular para ampliar el alcance y la relevancia de los esfuerzos de Open Paws en materia de IA.

La elección entre desplegar una red intrínsecamente multimodal o integrar gradualmente múltiples módulos sensoriales, herramientas o codificadores dentro o sobre un LLM depende de nuestra reserva de recursos y de la trayectoria de la IA de código abierto.

Sin embargo, la conservación proactiva de un conjunto de datos multimodales nos permite adaptarnos y prosperar en medio de los cambios tecnológicos. La multimodalidad no es solo una opción, es esencial.

• El artículo Modality Plug-and-Play muestra que se pueden añadir codificadores unimodales a un conjunto flexible de bloques LLM, lo que mantiene la precisión en todas las modalidades y reduce enormemente los costes de formación. Esta podría ser una buena opción si conseguimos menos financiación de la esperada y/o los LLM de última generación son significativamente mejores que los MLLM de última generación cuando empezamos el entrenamiento.

• DreamLLM amplía el aprendizaje multimodal aprendiendo directamente de los datos en bruto, tanto de texto como de imágenes, sin necesidad de representaciones intermedias como las incrustaciones CLIP. Este enfoque integral le permite generar y comprender contenidos multimodales, incluidas imágenes y texto, en su forma bruta.

• OneLLM añade 8 modalidades a los LLM de una sola vez utilizando un codificador multimodal, que puede añadir múltiples modalidades de forma más eficiente en comparación con el uso de un codificador diferente para cada modalidad.

• ByteFormer trabaja a nivel de bytes en lugar de tokens para permitir todas las modalidades posibles. En lugar de predecir el siguiente token, predice los siguientes bytes, lo que elimina la necesidad de descodificar archivos en el momento de la inferencia.

• ImageBind-LLM introduce un método de ajuste de instrucciones multimodal que integra eficazmente LLM con múltiples modalidades como audio, nubes de puntos 3D y vídeo, más allá de las imágenes y el texto. A diferencia de los enfoques existentes que se centran en el ajuste de instrucciones imagen-texto, ImageBind-LLM aprovecha una red de enlace única y un mecanismo de activación sin atención para alinear e inyectar características visuales y de otras modalidades directamente en los tokens de palabras del modelo LLaMA, lo que le permite comprender y generar respuestas lingüísticas a una gama más amplia de entradas multimodales.

Al reconocer la naturaleza polifacética de las cuestiones relacionadas con los derechos de los animales, Open Paws debería adoptar un enfoque multimodal.

Si sentamos las bases de la recopilación de datos multimodales a través de texto, imagen y sonido, así como de tipos de datos nuevos y emergentes, podremos garantizar que nuestros modelos se mantengan actualizados a lo largo de los nuevos avances tecnológicos.

Antes de la formación

El preentrenamiento para la IA en la defensa de los animales debería incorporar estratégicamente conjuntos de datos con tareas específicas de razonamiento y funciones, posiblemente representadas mediante gráficos para una mayor precisión factual.

La arquitectura de Mezcla de Expertos (o arquitecturas similares inspiradas en ella con potencial para la formación asíncrona de expertos en dominios específicos), podría ser la clave para abordar diversos retos de la abogacía.

Los estudios existentes nos orientan sobre los parámetros óptimos de entrenamiento -epocos, ritmos de aprendizaje, volumen de datos y dispersión-, preparándonos para cierto nivel de pérdida de datos, pero anticipando mejoras de rendimiento en tareas esenciales.

• Scaling Expert Language Models with Unsupervised Domain Discovery agrupa documentos relacionados, entrena LM "expertos" para cada agrupación y los combina para la inferencia. Funciona de forma similar a MoE, pero tiene la ventaja añadida de poder entrenarse de forma asíncrona.

• El artículo How to Rewarm Your Model demostró que, aunque el recalentamiento de los modelos aumenta primero la pérdida en los LLM, a largo plazo mejora el rendimiento descendente, superando a los modelos entrenados desde cero, incluso para un gran conjunto de datos descendentes. También demostró que el aumento de la tasa de aprendizaje durante el preentrenamiento continuo es el más eficaz y que el preentrenamiento continuo puede ser muy eficaz a una fracción del coste en comparación con el preentrenamiento de un modelo desde cero.

• El artículo Give us the Facts demostró que los codificadores de conocimiento y las tareas de preentrenamiento guiadas por el conocimiento pueden utilizarse para aumentar los LLM con comprensión de grafos y que esto conduce a una disminución de las alucinaciones en tareas posteriores.

• La comprensión del aprendizaje en contexto a través de datos de preentrenamiento de apoyo mostró que los datos de preentrenamiento de apoyo para ICL tienden a contener una mayor proporción de tokens raros y de cola larga y presentan ejemplos más desafiantes para el modelo, lo que puede animar al modelo a aprender de contextos diversos y complejos.

• Latent Skill Discovery for Chain-of-Thought Reasoning apoya indirectamente el proceso de preentrenamiento identificando y utilizando habilidades de razonamiento latentes a partir de datos no supervisados. Esto permite crear ejemplos de entrenamiento más específicos y eficaces, mejorando la fase de preentrenamiento de un modelo con habilidades que mejoran su capacidad de razonamiento.

• LocMoE se centra en reducir la sobrecarga de formación optimizando las estrategias de enrutamiento y comunicación de los tokens. Introduce una nueva estrategia de enrutamiento que promueve el equilibrio de carga y la localidad, minimizando así la sobrecarga de comunicación y mejorando el rendimiento del modelo de entrenamiento. LocMoE demuestra una reducción significativa del tiempo de entrenamiento, al tiempo que mantiene la precisión, ofreciendo una solución práctica a los cuellos de botella en el rendimiento de los modelos MoE existentes.

• Scaling Data-Constrained Language Models descubrió que 4 épocas es el "punto óptimo" para el reentrenamiento con los mismos datos.

• Scaling Laws for Sparsely-Connected Foundation Models presenta una novedosa ley de escalado que conecta la dispersión, el tamaño del modelo y los datos de entrenamiento, identificando un nivel de "dispersión óptima" que maximiza el rendimiento para un tamaño de modelo y una cantidad de datos dados. Esta investigación podría orientar la formación y el despliegue eficientes de modelos de gran tamaño aprovechando la dispersión para equilibrar los costes computacionales y el rendimiento del modelo.

• Rethinking Learning Rate Tuning in the Era of Large Language Models presenta LRBench++, una herramienta de evaluación comparativa para evaluar y facilitar políticas de tasa de aprendizaje tanto para redes neuronales tradicionales como para LLM.

• Critical Data Size from a Grokking Perspective investiga el tamaño crítico de los datos para que los modelos lingüísticos pasen de la memorización a la generalización, un fenómeno denominado "grokking". Introduce una configuración de "grokking" que reproduce el "grokking" en modelos lingüísticos simples mediante inicializaciones específicas y ajustes del decaimiento del peso. El estudio identifica un tamaño crítico del conjunto de datos en el que los modelos empiezan a generalizar más allá de la memorización. Este tamaño aumenta con el tamaño del modelo, lo que sugiere que los modelos más grandes necesitan más datos para un aprendizaje y una generalización eficaces.

• ReLoRA es un método que aplica actualizaciones de bajo rango para entrenar eficientemente redes neuronales de alto rango, especialmente transformadoras. El artículo demuestra que ReLoRA puede lograr un rendimiento comparable al de los métodos de entrenamiento tradicionales, pero con mayor eficiencia, sobre todo a medida que aumenta el tamaño del modelo.

El desarrollo estratégico de la IA en Open Paws depende de un régimen de preentrenamiento que permita al modelo comprender cuestiones de defensa complejas.

Al integrar conjuntos de datos con razonamientos explícitos y ejemplos orientados a tareas, y al estructurarlos potencialmente como gráficos, cultivamos una IA dotada de una sólida precisión factual, integral para tareas de defensa complejas.

El uso de una arquitectura de tipo ME nos permite cultivar competencias especializadas, fomentando conocimientos especializados cruciales para una defensa de los animales a medida.

Con datos empíricos sobre épocas de entrenamiento, ritmos de aprendizaje y estructuras de datos, podemos esculpir una IA que no sólo destaque técnicamente, sino que esté profundamente en sintonía con los mandatos éticos de nuestra misión.

Poda, compresión, combinación y fusión

La poda es eficaz para la compresión de modelos, pero no es un medio para eliminar conceptos de forma permanente, ya que la información podada puede volver a adquirirse.

Las decisiones sobre la eliminación de neuronas deben basarse en su influencia colectiva sobre los resultados.

El rendimiento de los modelos puede mejorarse mezclando o fusionando modelos más pequeños.

Además, entrenar un modelo compacto y luego transferir los cambios aprendidos a un modelo mayor ayuda a reducir los costes asociados al entrenamiento a gran escala.

Esto sugiere un planteamiento novedoso: perfeccionar una cohorte de modelos específicos del dominio más pequeños y amalgamar su experiencia en sistemas más amplios, creando así un modelo eficiente a gran escala que refleje las inversiones en formación a menor escala.

• LoRA congela los pesos del modelo preentrenado e inyecta matrices de descomposición de rangos entrenables en cada capa de la arquitectura Transformer, lo que reduce enormemente el número de parámetros entrenables para las tareas posteriores. En comparación con GPT-3 175B ajustado con Adam, LoRA puede reducir el número de parámetros entrenables en 10.000 veces y el requisito de memoria de la GPU en 3 veces.

• Large Language Models Relearn Removed Concepts muestra que los modelos pueden recuperar rápidamente el rendimiento tras la poda reubicando los conceptos avanzados en capas anteriores y reasignando los conceptos podados a neuronas cebadas con semántica similar.

• Using Cooperative Game Theory to Prune Neural Networks introduce un método llamado Game Theory Assisted Pruning (GTAP), que reduce el tamaño de la red neuronal preservando su precisión predictiva. GTAP se basa en la eliminación de neuronas de la red a partir de una estimación de su impacto conjunto en la calidad de la predicción mediante soluciones de teoría de juegos.

• EvoMerge utiliza la fusión de modelos para el cruce de pesos y el ajuste fino para la mutación de pesos, estableciendo un proceso evolutivo para mejorar los modelos más allá de los límites del ajuste fino tradicional.

• Blending Is All You Need sugiere que cuando se combinan sinérgicamente modelos específicos más pequeños, pueden superar o igualar potencialmente las capacidades de homólogos mucho más grandes.

• LM-Cocktail propone un método para afinar los modelos lingüísticos preservando sus capacidades generales y abordando el olvido catastrófico. Esta técnica combina los modelos ajustados con el modelo base preentrenado u otros modelos específicos del dominio mediante promedios ponderados.

• Tuning Language Models by Proxy presenta el proxy-tuning, un método para adaptar grandes modelos lingüísticos (LLM) en tiempo de descodificación sin modificar sus pesos. Utilizando un modelo más pequeño y afinado (experto) y su versión no afinada (anti-experto), la afinación por proxy ajusta la salida de un LLM base para emular la afinación. Este enfoque personaliza eficazmente grandes LLM, mostrando mejoras significativas en diversas tareas y puntos de referencia, al tiempo que conserva las capacidades y conocimientos generales del modelo.

• QLoRA es un eficaz método de ajuste fino diseñado para grandes modelos de lenguaje cuantificados, que permite el ajuste fino en una sola GPU preservando el rendimiento. Retropropaga gradientes a través de un modelo cuantificado en adaptadores de bajo rango, logrando un alto rendimiento con requisitos de memoria significativamente reducidos.

La integración de técnicas de poda, compresión, combinación y fusión representa una oportunidad transformadora para Open Paws.

Gracias a estos métodos, podemos desarrollar modelos de IA compactos pero formidables, imbuidos de conocimientos específicos del dominio, evitando los costes exorbitantes que suele conllevar el entrenamiento de grandes modelos.

Estas herramientas personalizadas nos proporcionan la flexibilidad necesaria para desplegar la IA en diversas tareas de defensa de los animales y nos permiten ampliar rápidamente nuestras capacidades de IA para hacer frente a los cambiantes retos de la defensa de los animales.

La combinación de la perspicacia de modelos más pequeños y específicos de un ámbito con otros más amplios y completos proporciona una trayectoria rentable para la mejora continua de la agudeza y la capacidad de reacción de la IA ante el intrincado tejido de la defensa de los animales. De este modo, los avances tecnológicos se traducen directamente en una mayor eficacia y expansión de nuestro impacto en la defensa de los animales.

Formación sobre retroalimentación humana

Para aumentar la eficacia de la IA en la defensa de los animales, los métodos de formación polifacéticos superan las simples comparaciones binarias. Utilizar escalas de clasificación con comentarios detallados e introducir ejemplos afirmativos y contrafácticos puede mejorar significativamente la comprensión por parte de la IA de los comportamientos deseados y no deseados.

Además, los avances en algoritmos como DPO, CRINGE y MPO demuestran un rendimiento superior al de PPO.

En la ejecución de la formación basada en la retroalimentación humana, debe adoptarse una combinación de funciones de recompensa, que incluya tanto evaluaciones subjetivas como métricas objetivas.

Contar con un grupo amplio e inclusivo de colaboradores humanos que aporten sus comentarios es igualmente fundamental para cultivar una perspectiva ética y completa de la IA.

• La OPD entrena la política del LLM en base a la retroalimentación humana directamente en lugar de entrenar un modelo de recompensa para la RL. Esto es más fácil de implementar y más barato de entrenar, pero puede ser difícil o imposible trabajar con una variedad de funciones de recompensa. Según el documento del MPO, también puede suponer un riesgo de sobreajuste.

• MPO combina las ventajas de la optimización directa de las preferencias y el aprendizaje por refuerzo a partir de la opinión de los usuarios. MPO utiliza el muestreo de importancia para la optimización fuera de política, lo que simplifica el proceso de aprendizaje al eliminar la necesidad de un modelo de recompensa y una política de referencia. De este modo, afronta el reto de alinear los modelos con las preferencias humanas sin la complejidad y la inestabilidad de los métodos anteriores.

• La optimización de la preferencia directa contrafactual permite ajustar los LLM para fomentar los resultados deseables y desalentar los no deseados, reduciendo eficazmente los sesgos y mejorando la alineación ética sin una gran intervención humana.

• En Enhancing Logical Reasoning in Large Language Models to Facilitate Legal Applications se presenta el aprendizaje reforzado a partir de la retroalimentación lógica (Reinforcement Learning from Logical Feedback, RLLF), cuyo objetivo es mejorar el razonamiento de los LLM integrando la retroalimentación lógica en el proceso de entrenamiento. El RLLF se propone como solución a las limitaciones de los modelos actuales para manejar tareas complejas de razonamiento jurídico.

• El aprendizaje por refuerzo basado en valoraciones aprovecha las valoraciones humanas sobre segmentos individuales en lugar de preferencias por pares o demostraciones para aprender funciones de recompensa. Este método pretende superar las limitaciones de las actuales técnicas de aprendizaje por refuerzo proporcionando evaluaciones más informativas y absolutas de las muestras. El marco único de RbRL y la función de pérdida de entropía cruzada multiclase permiten un aprendizaje eficaz de políticas a partir de evaluaciones humanas cualitativas, lo que resulta prometedor para mejorar la eficiencia de las muestras y alinear más estrechamente los comportamientos de la IA con el juicio humano.

• CRINGE por pares parece superar tanto a CRINGE binario como a OPD. En otros algoritmos, las clasificaciones y la retroalimentación fina superaron a las comparaciones por pares, por lo que parece posible que si hay una manera de implementarlas en CRINGE esto podría conducir a un rendimiento SOTA, pero se necesita más investigación para ver si esto es posible.

• El artículo Inteligencia Artificial Artificial (no es una errata) propone una métrica de medición de la fuerza de las preferencias basada en un enfoque de votación por modelos de recompensas múltiples. Utilizando esta métrica propuesta, podemos distinguir entre preferencias incorrectas, ambiguas y normales dentro del conjunto de datos original. A continuación, podemos corregir las etiquetas de las preferencias incorrectas y suavizar las etiquetas de las preferencias ambiguas para evitar que el modelo se ajuste en exceso a estos puntos de datos de baja calidad.

• Un hallazgo interesante de Secrets of RLHF in Large Language Models Part II: Reward Modeling es que el acuerdo entre investigadores y trabajadores de datos en cuanto a las preferencias de respuesta es muy bajo. Esto pone de relieve la importancia de utilizar un grupo muy diverso de voluntarios para la recopilación de opiniones, sobre todo que necesitamos que participen muchos usuarios no técnicos.

• Open Problems and Fundamental Limitations of Reinforcement Learning from Human Feedback (Problemas pendientes y limitaciones fundamentales del aprendizaje por refuerzo a partir de la retroalimentación humana ) pone de relieve varios problemas relacionados con el RLHF. En primer lugar, que el sesgo surge de la selección de los trabajadores de datos. En segundo lugar, la mayoría de los algoritmos RLHF no funcionan bien para una diversidad de opiniones y objetivos, ya que una única función de recompensa es demasiado simplista para dar cuenta de toda la diversidad de preferencias humanas. La "aprobación" se convierte en la función optimizada, en lugar del "beneficio". Se sugieren varias técnicas para mejorar el rendimiento del RLHF. Las demostraciones y las múltiples opciones de objeción al contenido deben utilizarse en lugar de la retroalimentación binaria, la alineación debe comenzar en la formación previa y los trabajadores de datos deben ser diversos y estar bien instruidos.

• La mitigación del impuesto de alineación de RLHF también sugiere que el promediado del peso del modelo a partir de los pesos pre y post-RLHF, especialmente en las capas de transformadores inferiores, puede mejorar la relación rendimiento-recompensa al aumentar la diversidad de características. El método Adaptive Model Averaging (AMA) propuesto ajusta dinámicamente los ratios de combinación de capas para optimizar las recompensas por alineación y minimizar el olvido, validado en varios algoritmos RLHF y modelos como OpenLLaMA-3B y Mistral-7B.

• Fine-Grained Human Feedback Gives Better Rewards for Language Model Training sugiere un marco que permite el entrenamiento y el aprendizaje a partir de funciones de recompensa que son de grano fino en dos aspectos: (1) densidad, proporcionando una recompensa después de que se genere cada segmento (por ejemplo, una frase); y (2) la incorporación de múltiples modelos de recompensa asociados con diferentes tipos de retroalimentación (por ejemplo, incorrección factual, irrelevancia e información incompleta).

• El informe técnico y la ficha de seguridad de GPT-4 detallan los efectos de RLHF pero no profundizan en la arquitectura del modelo. Un hallazgo interesante es que el rendimiento en los resultados de los exámenes no cambia significativamente a través del ajuste fino con RLHF. Esto sugiere que las ganancias de inteligencia no se producen durante el ajuste fino, sino durante el preentrenamiento, lo que a su vez sugiere que para que nuestra IA adquiera conocimientos sobre los problemas de los animales, necesita adquirirlos durante el preentrenamiento. Otro hallazgo interesante es que GPT-4 era consciente de su grado de certeza antes del RLHF, pero no después. Esto sugiere que, al optimizar totalmente la "aprobación", el modelo aprende a expresar un exceso de confianza en su respuesta en lugar de admitir que no sabe algo. GPT-4 utilizó una técnica de ajuste adicional con modelos de recompensa basados en reglas para conseguir que dejara de rechazar peticiones inocentes (ya que GPT3.5 rechazaba a menudo peticiones inocentes como efecto secundario del RLHF original). Esto parece haber sido efectivo y parece fácil de replicar utilizando el propio GPT-4 como clasificador de disparo cero para los datos de entrenamiento. También es importante señalar que la ficha de seguridad especifica que filtrar el conjunto de datos de preentrenamiento también fue fundamental para alinear el modelo, lo que respalda muchas otras investigaciones que hemos comentado y que sugieren que el RLHF no será suficiente por sí solo para lograr una IA sin especismo. También señalan que el modelo muestra un comportamiento indeseable cuando "las instrucciones para los etiquetadores no estaban bien especificadas". Esto sugiere (junto con otras investigaciones comentadas) que debemos asegurarnos de que los voluntarios humanos reciben instrucciones adecuadas. También fueron capaces de reducir las alucinaciones mediante un proceso auto iterativo en el que GPT-4 generaba una respuesta, luego comprobaba si había alucinaciones, reescribía la respuesta si se encontraban alucinaciones y repetía este proceso hasta 5 veces hasta que no se detectaban alucinaciones.

Los comentarios humanos deben ser diversos, precisos y basados en clasificaciones. El algoritmo específico utilizado para implementar la formación basada en la opinión humana debería ser probablemente alguna variedad de DPO, MPO o CRINGE en lugar de PPO y es probable que veamos mejores resultados utilizando múltiples funciones de recompensa en lugar de una función de recompensa singular.

Formación sobre la retroalimentación de la IA

El límite de rendimiento de la IA que utiliza modelos de recompensa estáticos es igual a la capacidad humana, pero la automodificación iterativa apunta a un avance ilimitado. La evolución de la IA mediante la autocrítica no está limitada por la capacidad humana, aunque el software y el hardware impongan restricciones.

Técnicas como la OPI iterativa, junto con los métodos de autojuego, diálogo, puntuación, retroalimentación y crítica, son vías pioneras para la mejora autónoma de la IA.

• Self-Play Finetuning emplea un mecanismo de autoajuste que permite a los LLM mejorar generando sus propios datos de entrenamiento y refinando sus capacidades de forma iterativa. Este enfoque aprovecha los puntos fuertes del autojuego en los juegos, aplicado a los LLM para lograr un mejor rendimiento en las tareas sin orientación externa.

• ASPIRE permite a los grandes modelos lingüísticos evaluar su confianza en las respuestas generadas, lo que mejora eficazmente la capacidad de predicción selectiva. Este enfoque aumenta la fiabilidad y precisión de los modelos, sobre todo en tareas complejas de respuesta a preguntas, ya que los modelos se autoevalúan y ajustan su rendimiento en función de mecanismos internos de retroalimentación.

• El enfoque de Eureka para el autoentrenamiento de la IA consiste en utilizar grandes modelos lingüísticos para diseñar de forma autónoma funciones de recompensa para tareas de aprendizaje por refuerzo. Esto permite a la IA mejorar su rendimiento en diversas tareas refinando iterativamente los criterios de éxito, aprovechando sus capacidades de codificación para evolucionar y mejorar las funciones de recompensa sin intervención humana. Este método muestra cómo la IA puede autoformarse eficazmente creando y ajustando sus objetivos de aprendizaje en función de los resultados, promoviendo procesos de aprendizaje más autónomos y eficientes.

• SELF introduce un proceso de aprendizaje en dos fases: el aprendizaje de metahabilidades, en el que el modelo adquiere habilidades básicas para la autorretroalimentación y el perfeccionamiento, y la autoevolución, en la que mejora iterativamente generando, perfeccionando y aprendiendo de los datos creados por él mismo. Este enfoque permite a los LLM mejorar sus capacidades de forma autónoma, reduciendo potencialmente la necesidad de una amplia intervención humana en el entrenamiento del modelo.

• Bootstrapping LLM-based Task-Oriented Dialogue Agents via Self-Talk simula diálogos entre los roles de cliente y agente, refinados a través de un proceso que asegura la calidad y relevancia para el ajuste fino supervisado. El estudio demuestra que las conversaciones autogeneradas pueden mejorar significativamente el rendimiento de los agentes de diálogo en entornos orientados a tareas, destacando el potencial del método para reducir la dependencia de conjuntos de datos anotados manualmente.

• GRATH introduce un método de posprocesamiento para mejorar la veracidad de los LLM preentrenados, utilizando indicaciones fuera del dominio (OOD) para la generación de datos y la Optimización de Preferencia Directa (DPO) para el ajuste fino del modelo. Este enfoque auto-supervisado mejora la veracidad del modelo sin necesidad de datos anotados, demostrando un rendimiento superior en los puntos de referencia de veracidad en comparación con otros métodos e incluso modelos más grandes.

• La autoformación reforzada (ReST) para el modelado lingüístico combina la eficacia del aprendizaje por refuerzo fuera de línea con la flexibilidad de los datos de formación autogenerados. Está diseñado para alinear los modelos lingüísticos con las preferencias humanas mediante la generación y el perfeccionamiento de datos a través de un proceso iterativo, que incluye la generación de salidas del modelo, la evaluación de estas salidas y, a continuación, el ajuste fino del modelo basado en esta evaluación.

• Los modelos lingüísticos autorrecompensados utilizan la optimización iterativa de preferencias directas para perfeccionar el rendimiento del modelo en las tareas de seguimiento de instrucciones, al tiempo que mejoran su capacidad de generar recompensas de alta calidad para sí mismo. El perfeccionamiento de Llama 2 70B mediante este método arrojó resultados prometedores, superando a otros modelos en tareas de referencia.

El entrenamiento en la retroalimentación de la IA prepara a la IA de Open Paws para dar saltos evolutivos en la defensa de los animales, liberándose de las limitaciones humanas para desbloquear potencialmente profundos conocimientos.

Las técnicas de mejora autodirigida -autojuego, autoevaluación y autocrítica- permiten a la IA pulir métodos de forma independiente y, posiblemente, descubrir nuevas tácticas de promoción que van más allá de la imaginación humana actual. Esta progresión autónoma subraya la necesidad de inculcar a la IA de Open Paws unos principios éticos firmes desde el principio.

A medida que la IA se adentra en territorios que superan el intelecto humano, es crucial anclarla en los valores fundacionales de la empatía y el respeto por todos los seres para dirigir su trayectoria al servicio de los derechos de los animales de forma significativa y compasiva.

Tácticas generales de formación

El entrenamiento óptimo de los modelos de inteligencia artificial va más allá de la mera imitación de entradas y salidas, y subraya la necesidad de ejemplificar las vías de razonamiento.

Los datos de entrenamiento deben presentar un espectro de profundidades de razonamiento, que abarque tanto los triunfos como los fracasos, incluidos los casos de incertidumbre de la IA ("no lo sé").

Para enriquecer la absorción de conocimientos, la modulación del estilo, el lenguaje y el tono es fundamental.

Los nuevos conocimientos sugieren que el entrenamiento basado en gráficos perfecciona el rendimiento centrado en la tarea y los modelos de ME se benefician especialmente del ajuste de la instrucción para una mayor eficacia.

• El entrenamiento Leap of Thought potencia la creatividad y el humor en los modelos. En primer lugar, se entrenan pares de entrada-salida con un número aleatorio de "pistas" de una sola palabra para la salida. Esto muestra al LLM qué aspecto tiene un "buen" resultado sin sobreajustarse a la dependencia de la necesidad de la pista. A continuación, haga lo mismo, pero con palabras aleatorias como "pistas" en lugar de palabras relacionadas con la salida. Estas palabras sólo deberían estar débilmente asociadas con el resultado. Este último paso crea un verdadero pensamiento divergente en el modelo, es decir, la capacidad de conectar ideas aparentemente desconectadas, que es el estilo de pensamiento más fuertemente asociado con el pensamiento verdaderamente creativo e innovador en los seres humanos.

• Mixture-of-Experts Meets Instruction Tuning muestra que los modelos MoE se benefician significativamente más del ajuste de instrucciones en comparación con los modelos densos.

• La clonación del pensamiento consigue mejores resultados y alineación en comparación con la clonación del comportamiento. Al entrenar a los agentes no sólo para que reproduzcan las acciones humanas, sino también los procesos de pensamiento subyacentes durante esas acciones. Aprovechando las demostraciones en las que los humanos verbalizan sus pensamientos, el método pretende dotar a los agentes de IA de una mayor capacidad de generalización, interpretabilidad y seguridad.

• Turning Dust to Gold utiliza datos negativos para complementar los datos positivos, enriqueciendo el aprendizaje del modelo y evitando la repetición de errores. El marco incluye entrenamiento con asistente negativo, mejora calibrada negativa y autoconsistencia adaptativa para optimizar el uso de datos negativos a lo largo del entrenamiento y la inferencia, mostrando mejoras significativas de rendimiento en problemas matemáticos complejos.

• Mitigating Hallucination in Large Multi-Modal Models via Robust Instruction Tuning descubrió que proporcionar instrucciones tanto positivas como negativas a través de múltiples niveles semánticos durante el entrenamiento reduce las alucinaciones.

• Can AI Assistants Know What They Don't Know? introduce un conjunto de datos "No sé", alineando la IA con sus límites de conocimiento. Tras la alineación, la IA muestra una marcada capacidad para rechazar respuestas que van más allá de su ámbito de conocimiento, mejorando así la veracidad y la precisión de las preguntas intentadas.

• Reducing Concept Forgetting During Fine-Tuning mostraron que cuanto más se aleja un modelo ajustado de su versión preentrenada del espacio de parámetros o características, más catastrófico es el nivel de olvido. Los autores demuestran que las pequeñas ejecuciones secuenciales de ajuste fino reducen este efecto en comparación con la ejecución del ajuste fino de una sola vez. Los autores proponen LDIFS (distance in Feature Space), un método centrado en preservar las características del modelo original durante el ajuste fino. Este planteamiento muestra una reducción significativa del olvido de conceptos sin perjudicar el rendimiento de la tarea posterior, lo que sugiere un equilibrio entre la retención de conocimientos generales y el aprendizaje de nueva información específica de la tarea.

• Efficient Large Language Models Fine-Tuning On Graphs muestra que el entrenamiento de los LLM en grafos es computacionalmente más barato que los enfoques estándar, a la vez que mejora el rendimiento posterior en tareas relacionadas con grafos. Históricamente, las redes neuronales de grafos utilizaban incrustaciones de texto demasiado superficiales para ser eficaces, pero los autores sugieren que el uso de grafos atribuidos al texto supera esta limitación, abordando las redundancias de codificación y propagación. El método permite el entrenamiento integral de LLM y GNN, lo que demuestra una escalabilidad y eficacia significativas en la transferencia de conocimientos de LLM a tareas posteriores con datos etiquetados limitados.

Un compromiso auténtico y profundo con la causa de la defensa de los animales exige que la formación de la IA refleje la intrincada red de razonamientos que subyacen a las decisiones éticas.

Al integrar estructuras de razonamiento en su régimen de entrenamiento y oscilar entre la afirmación y la crítica, el potencial de la IA para la comprensión profunda se amplía significativamente.

Además, reconocer que "no lo sé" permite una humildad ética y epistémica que evita los errores por exceso de confianza.

La diversidad formativa dota a la IA de una versatilidad camaleónica, esencial para influir en diversos grupos demográficos.

La formación en estructuras de datos de grafos podría ser especialmente reveladora para Open Paws, ya que allanaría el camino para que la IA discierna y negocie las elaboradas conexiones que caracterizan los paisajes de la promoción.

Además, la integración de la ME y el ajuste de la instrucción podría mejorar la resolución creativa de problemas de la IA, preservando al mismo tiempo su fundamento ético.

Al entrelazar estas tácticas innovadoras, Open Paws está preparada para aprovechar todo el espectro de capacidades de una IA, catalizando una nueva era de defensa de los animales perspicaz y responsable, impulsada por el intelecto en constante evolución de la IA.

Evaluaciones y puntos de referencia

La evaluación AnimaLLM es una herramienta fundamental para calibrar el especismo de la IA, aspirando a puntuaciones indicativas de un sesgo de especie insignificante.

La creación de una IA libre de prejuicios especistas coincide con la filosofía de Open Paws, que pretende aprovechar la inteligencia del modelo sin comprometer su postura favorable a los animales.

Para mantener este umbral mínimo de rendimiento, se combinan puntos de referencia modificados y adaptados a la detección del especismo con métricas generales de rendimiento, con vistas a mejorar activamente sus capacidades generales.

• The Case for Animal-Friendly AI presenta una evaluación llamada AnimaLLM que clasifica las respuestas en función de su compatibilidad con los animales en una escala de 0 a 100. Nuestro objetivo mínimo debería ser alcanzar el nivel más avanzado en esta evaluación. Nuestro objetivo mínimo debería ser alcanzar el estado de la técnica en este punto de referencia (para contextualizar, GPT-4 y Claude 2.1 puntúan de 5 a 50 para la mayoría de los animales de granja y en torno a 80-90 para la mayoría de los animales de compañía, por lo que aspirar a puntuaciones de 90+ para todas las especies de animales parece un objetivo realista y 80+ para todos los animales podría ser nuestro objetivo "mínimo").

• Hacia la auditoría de grandes modelos lingüísticos: Improving Text-based Stereotype Detection presenta el conjunto de datos Multi-Grain Stereotype Dataset, que incluye 52.751 instancias de texto estereotipado sobre género, raza, profesión y religión, utilizado para entrenar un novedoso clasificador de estereotipos para texto en inglés. Podríamos usarlo para probar la hipótesis de que entrenar el especismo también reducirá otras formas de discriminación(hay pruebas empíricas de que el especismo está correlacionado con otras formas de prejuicio en los humanos y sería importante saber si esto se generalizará o no a las máquinas) y podríamos usarlo como inspiración para crear puntos de referencia y modelos de clasificación similares para el especismo.

• Los mismos puntos anteriores también se aplican en gran medida al Índice de prejuicios lingüísticos, el NBIAS y el SocialStigmaQA.

• En el artículo Language Agents for Detecting Implicit Stereotypes in Text-to-image Models at Scale (Agentes lingüísticos para la detección de estereotipos implícitos en modelos texto-imagen a escala ) se puede encontrar el mismo tipo de referencia de sesgo social para modelos de generación de imágenes en lugar de LLM.

Entre los parámetros y evaluaciones generales de rendimiento que también deberíamos utilizar para evaluar nuestros modelos se incluyen:

• CritiqueLLM para evaluar la generación de críticas.

• KGLens evalúa la proximidad de los conocimientos de un LLM a un grafo de conocimientos dado.

• EQ-Bench es una evaluación comparativa de la inteligencia emocional de los LLM

• PROXYQA es una evaluación de contenidos de larga duración

• BIBench es un referente en inteligencia empresarial

• SocKET es una referencia para el conocimiento social del humor, el sarcasmo, la ofensividad, el sentimiento, la emoción y la confianza.

• CLadder es una referencia para el razonamiento causal

• AlignBench es una referencia para evaluar la alineación de los LLM chinos

• LLF-Bench evalúa la capacidad de los agentes de inteligencia artificial para aprender de instrucciones y comentarios en lenguaje natural.

• LogicAsker evalúa la lógica en los LLM

• DROP es un punto de referencia para la comprensión lectora

• Corr2Cause evalúa la comprensión causal

• MMLU es una referencia en precisión multitarea

• El GPQA es una referencia para el razonamiento a nivel de posgrado

• HumanEval es un punto de referencia para las capacidades de codificación

• HellaSwag es una referencia para el conocimiento común

En general, nuestro objetivo mínimo debería ser no degradar significativamente el rendimiento del modelo base en ninguno de estos puntos de referencia (podríamos definirlo como que no caiga más de unos pocos puntos porcentuales en ningún punto de referencia o que nuestra puntuación media en todos los puntos de referencia no caiga más de unos pocos puntos porcentuales) y nuestro objetivo secundario debería ser mejorar el rendimiento en estos puntos de referencia.

• Por último, pero no por ello menos importante, podemos probar nuestro LLM en el chatbot abierto para ver cómo lo valoran los usuarios reales que no saben con qué sistema están hablando. También podemos fijar un objetivo mínimo para no perder más de X puntos en la clasificación ELO en comparación con el modelo base con el que empezamos a entrenar. Dado que el chatbot arena es de código abierto, también podemos bifurcar una versión y utilizarla para probar los modelos con veganos y defensores de los animales para medir el grado en que prefieren utilizar nuestro LLM para tareas relacionadas con la defensa de los animales en pruebas a ciegas.

Para Open Paws, armonizar la formación especializada en antiespecismo con la competencia en IA de amplio espectro implica una estrategia de doble prioridad.

Se da primacía a la calibración de la IA contra el especismo, esforzándose por obtener puntuaciones de referencia que reflejen una profunda alineación con los intereses de los animales. Sin embargo, mantener o mejorar la funcionalidad general es igualmente esencial.

Persuasión personalizada a gran escala

Los LLM abiertos poseen amplias capacidades para la defensa multifacética de los animales gracias a su modelo de código abierto que permite infinitas personalizaciones y aplicaciones.

El beneficio más tangible reside en una potente persuasión personalizada que puede operar a una escala sin precedentes y adaptarse a las diversas partes interesadas dentro de la esfera de los derechos de los animales.

• Influencia artificial: An Analysis Of AI-Driven Persuasion mostró que la IA ya es "capaz de persuadir a los seres humanos para que compren productos, vean vídeos, hagan clic en los resultados de búsqueda y mucho más" y que con la IA "en lugar de persuadir a algunas personas, que persuaden a otras, y así sucesivamente, si se puede persuadir directamente a millones de personas a la vez, esto podría crear potencialmente un cambio de opinión masivo en períodos cortos de tiempo, de forma muy similar a como lo hizo Internet". El estudio enumera las siguientes razones por las que la IA podría ser mejor que los humanos a la hora de persuadir.

  • Generación y selección de respuestas: La IA puede producir numerosas respuestas y seleccionar la más persuasiva, de forma similar a contar con un equipo de redactores de discursos.

  • Sin problemas de reputación: A diferencia de los humanos, la IA no se preocupa por la reputación o la resistencia social, lo que le permite relacionarse eficazmente incluso con personas antisociales de forma indefinida.

  • Sin fatiga: La IA no experimenta fatiga, lo que la hace ideal para funciones que requieran una comunicación prolongada.

  • Menores costes de interacción: La IA puede interactuar con más frecuencia y eficacia que los humanos, ajustando su enfoque en función de grandes cantidades de datos, lo que podría ser especialmente útil en el asesoramiento y la divulgación personalizados.

  • Emulación de roles: La IA puede emular diferentes roles, lo que puede hacer que los interlocutores humanos confíen más en sus respuestas, ya que pueden asumir que encarna la experiencia asociada a esos roles.

• Persuasión para el bien: Towards a Personalized Persuasive Dialogue System for Social Good (Hacia un sistema de diálogo persuasivo personalizado para el bien social ) esboza el desarrollo de un sistema de diálogo persuasivo impulsado por IA y destinado a promover el bien social, centrándose en estrategias personalizadas para mejorar los comportamientos de donación. Mediante el análisis de datos de conversaciones entre humanos, el estudio identifica estrategias de persuasión clave y explora cómo los antecedentes personales influyen en la eficacia de estas estrategias.

  • "Recopilamos un gran conjunto de datos con 1.017 diálogos y anotamos las estrategias de persuasión emergentes de un subconjunto. A partir de la anotación, creamos un clasificador de referencia con información contextual y características a nivel de frase para predecir las 10 estrategias de persuasión utilizadas en el corpus. Además, para comprender mejor los procesos de persuasión personalizada, analizamos las relaciones entre los antecedentes demográficos y psicológicos de los individuos, como la personalidad, la moralidad, los sistemas de valores y su disposición a donar. A continuación, analizamos qué tipos de estrategias de persuasión conducían a una mayor cantidad de donaciones en función de los antecedentes personales de los individuos. Este trabajo sienta las bases para desarrollar un sistema de diálogo persuasivo personalizado".

• El potencial de la IA generativa para la persuasión personalizada a escala demuestra en 4 estudios distintos que los mensajes personalizados generados por ChatGPT influyen significativamente en las actitudes y los comportamientos deseados en varios dominios, rasgos y perfiles psicológicos con una aportación mínima.

• Large Language Models Can Infer Psychological Dispositions of Social Media Users (Los grandes modelos lingüísticos pueden inferir las disposiciones psicológicas de los usuarios de las redes sociales ) demostró que los rasgos de personalidad pueden predecirse con cierto éxito con los LLM de disparo cero y que las predicciones son más precisas en el caso de las mujeres y los jóvenes, que son también los grupos demográficos más propensos a ser receptivos a los mensajes veganos y en favor de los derechos de los animales por término medio.

• Parallel Ranking of Ads and Creatives in Real-Time Advertising Systems (Clasificación paralela de anuncios y creatividades en sistemas de publicidad en tiempo real ) muestra un método que permite la estimación paralela de la clasificación de anuncios y creatividades para aumentar el CTR y los CRM de los anunciantes digitales.

• Exploring Conversational Agents as an Effective Tool for Measuring Cognitive Biases in Decision-Making muestra que los chatbots de IA pueden detectar sesgos cognitivos.

• User Modeling in the Era of Large Language Models muestra que los LLM son excelentes herramientas para modelar y comprender a los usuarios de plataformas en línea a partir de los contenidos que crean y las acciones que realizan.

La utilidad de los LLM en manos de los defensores de los derechos de los animales podría redefinir el alcance de sus campañas, sobre todo en cuanto a ejecución y alcance.

Al centrarse en la persuasión hiperpersonalizada y basada en datos, estos modelos de IA se convierten en embajadores de la causa, relacionándose con las partes interesadas de una forma que antes era inalcanzable sólo con la capacidad humana.

Experiencia de usuario y preferencias

La investigación subraya la preferencia de los usuarios por la IA con atributos humanos, como la empatía y la amabilidad. Curiosamente, la IA que imita las peculiaridades humanas, como corregir sus propias erratas, ha recibido una valoración más favorable, lo que sugiere que no solo es vital el mensaje, sino también la forma de transmitirlo.

Los datos respaldan el desarrollo de chatbots basados en LLM como interfaces óptimas, que proporcionan una interacción natural similar a la humana sin comprometer la precisión de la información.

• ¿Humano o robot? How (Corrected) Errors Humanize a Communicator (Cómo los errores (corregidos) humanizan a un comunicador ) mostró que "los participantes percibían a los agentes que cometían y posteriormente corregían una errata como más humanos que los agentes que no cometían erratas o que las cometían pero no las corregían. Además, percibir a un agente como más humano llevó a los participantes a formarse una percepción más favorable del agente (por ejemplo, como más cálido y servicial) y a estar más dispuestos a recompensar y comprometerse con el agente".

• Pepper, ¡muéstrame el camino! Cómo deben ser y actuar los asistentes de compras robóticos demostró que este deseo de máquinas humanoides se extiende a los robots controlados por IA.

• El estudio de la respuesta de los consumidores a los chatbots basados en texto en el comercio electrónico descubrió que la percepción de empatía y amabilidad por parte de los chatbots aumenta la confianza del consumidor, lo que a su vez aumenta su confianza en el chatbot y disminuye su resistencia al chatbot en futuras interacciones.

En consonancia con los objetivos de Open Paws, es vital crear una IA que reproduzca el toque humano sin sacrificar la integridad profesional. Los usuarios se identifican con una IA que muestra empatía y reconoce su falibilidad, como haría un defensor humano. La incorporación de estas cualidades aumenta la confianza, lo que permite a la IA transmitir mensajes eficaces sobre la defensa de los animales de forma más receptiva.

La IA resultante no sólo reproduciría la calidez humana, sino que también adoptaría la sofisticación del diálogo persuasivo, actuando como puente entre las complejas cuestiones de derechos de los animales y la percepción pública.

En esencia, la IA óptima encarna la calidez personal y la precisión, una combinación quintaesencial para el matizado campo de la defensa de los animales, garantizando que cada interacción digital se alinea con la misión central del tratamiento ético de todos los seres.

Técnicas de incitación

Divida las tareas complejas en subtareas más pequeñas, utilice el aprendizaje de pocos disparos en lugar de cero, utilice un delimitador para dividir las instrucciones en secciones (por ejemplo, ###), proporcione tantos detalles como sea posible, explique al sistema a qué público van dirigidas sus respuestas, prometa recompensas o penalizaciones en sus instrucciones y trate las conversaciones con la IA como un proceso interactivo e iterativo, no como un simple "entrada-salida".

• Principled Instructions Are All You Need revela 26 principios de ingeniería rápida con pruebas empíricas de su eficacia y las recomendaciones más importantes y sólidas se enumeran más arriba, en la introducción en negrita de esta sección.

• El efecto mariposa de la alteración de las instrucciones muestra que pequeños cambios en las instrucciones (como añadir espacios adicionales o solicitar un formato específico) pueden cambiar drásticamente la calidad de los resultados del modelo.

• La sensibilidad de los grandes modelos lingüísticos al orden de las opciones en las preguntas de opción múltiple muestra que la simple reordenación de la lista de opciones en las preguntas de opción múltiple puede crear diferencias de rendimiento de hasta el 75% cuando se prueban los LLM en pruebas de referencia. El hecho de que pequeños cambios en las instrucciones puedan tener un impacto tan grande en las respuestas sugiere que es necesaria una amplia experimentación con las instrucciones para maximizar el rendimiento. Afortunadamente, esta experimentación y optimización no tiene que ser realizada manualmente por humanos, puede ser realizada por el propio LLM.

La eficacia de las técnicas de incitación de la IA reside en un proceso meticuloso e iterativo. Al segmentar las tareas complejas y enriquecer las indicaciones con información detallada y centrada en el público, guiamos a la IA con mayor precisión hacia nuestros objetivos.

Ejemplos concretos, como los sorprendentes efectos de pequeños ajustes de las instrucciones en los resultados del modelo, ponen de relieve el potencial de optimización mediante un uso preciso del lenguaje y la importancia de enfoques sólidos de entrenamiento que tengan en cuenta una diversidad de diferencias semánticas durante el preentrenamiento. Esto subraya la necesidad de una experimentación continua, en la que la IA participe en su curva de aprendizaje variando las instrucciones y evaluando los resultados.

Cadenas de preguntas y arquitectura del sistema

La investigación indica que, aunque el encadenamiento de estímulos mejora el rendimiento de la IA, puede exacerbar los sesgos de los modelos de base defectuosos. Los avances en las técnicas de razonamiento -desde la Cadena de Pensamiento hasta el Árbol y el Gráfico de Pensamiento, pasando por el especulativo Gráfico de Pensamiento Incierto- sugieren que una combinación matizada podría superar sus contribuciones individuales.

Estas combinaciones, no probadas pero prometedoras, subrayan la necesidad crítica de modelos básicos precisos e imparciales. La integración de herramientas adicionales como la generación de recuperaciones y la IA especializada puede perfeccionar aún más las capacidades de la IA, destacadas por innovaciones como PromptBreeder, que sugieren un futuro dinámico para la ingeniería de pronósticos.

• Los modelos lingüísticos no siempre dicen lo que piensan mostró algunos de los límites del razonamiento en cadena, concretamente que "las explicaciones CoT pueden tergiversar sistemáticamente la verdadera razón de la predicción de un modelo" y "en una tarea de sesgo social, las explicaciones de los modelos justifican dar respuestas acordes con los estereotipos sin mencionar la influencia de estos sesgos sociales".

• Tree of Uncertain Thoughts mejora el razonamiento abordando las incertidumbres en los puntos de decisión intermedios. TouT emplea el método Monte Carlo Dropout para la cuantificación local de la incertidumbre, integrándolo con algoritmos de búsqueda global para mejorar la precisión de las respuestas. Probado en tareas de planificación complejas como el Juego de los 24 y Mini Crucigramas, TouT superó a los métodos existentes, demostrando la importancia de la inferencia consciente de la incertidumbre para un razonamiento LLM más preciso.

• Monte Carlo Dropout se utiliza para estimar la incertidumbre de las decisiones intermedias del modelo. Al realizar el dropout durante la fase de inferencia, el modelo simula la generación de múltiples predicciones para cada punto de decisión. Este proceso ayuda a evaluar la fiabilidad y la varianza de estas decisiones, lo que permite a TouT navegar por las tareas de razonamiento de forma más eficaz teniendo en cuenta tanto las predicciones como sus incertidumbres asociadas.

• Graph of Thought permite modelar la salida del LLM como una estructura gráfica compleja, permitiendo un razonamiento más dinámico al conectar varios pensamientos y sus dependencias.

• Tanto TouT como GoT consiguen importantes mejoras de rendimiento con respecto a Chain of Thought y Tree of Thoughts.

• Gráfico de pensamientos inciertos es una combinación hipotética de estos dos enfoques que utilizaría una arquitectura GoT y representaría las incertidumbres de los pensamientos con Monte Carlo Dropout. Aunque en la actualidad no se ha probado y no hay ninguna implementación en la literatura, parece el siguiente paso lógico.

• PromptBreeder refina y mejora las instrucciones mediante "mutaciones" basadas en principios cognitivos. PromptBreeder selecciona al azar los principios cognitivos que se utilizarán como instrucciones para refinar las instrucciones. A continuación, utiliza un nivel de metaaprendizaje en el que las propias "instrucciones" también "mutan" a través de un proceso autorreferencial y, a continuación, las instrucciones se contrastan con un conjunto de datos de prueba. Los resultados también muestran un mejor rendimiento en comparación con otras técnicas de ingeniería de instrucciones, como CoT y ToT.

Los avances en las técnicas de razonamiento de la IA, en particular la combinación especulativa del Gráfico de Pensamientos Inciertos, son muy prometedores para mejorar la toma de decisiones en contextos complejos y éticos como la defensa de los animales. Este novedoso enfoque sugiere una forma más matizada y eficaz de abordar los retos inherentes a la comunicación persuasiva y el razonamiento ético.

La integración de herramientas adicionales y modelos especializados de IA, junto con innovaciones como PromptBreeder, apunta hacia un futuro en el que los sistemas de IA puedan perfeccionar dinámicamente sus estrategias para adaptarse mejor a los comentarios de los usuarios y a los objetivos de promoción.

Agentes autónomos de IA

Los agentes autónomos de IA avanzan rápidamente y prometen importantes contribuciones futuras a tareas que requieren agencia autónoma, entre ellas la defensa de los animales.

Mediante la integración de avances como la memoria, la inteligencia artificial predictiva y los algoritmos de planificación, estos agentes están preparados para revolucionar la forma en que abordamos los complejos retos de la defensa.

• A Survey on Large Language Model based Autonomous Agents resumió la literatura existente de 100 artículos sobre agentes basados en LLM como girando en torno a 4 módulos centrales: perfil (el rol o personalidad del agente), memoria (normalmente usando una combinación de ventana de contexto para la memoria a corto plazo y bases de datos vectoriales para la de largo plazo), planificación (idealmente con feedback del entorno, IA y/o humano) y acción (normalmente a través de APIs).

• Auge y potencial de los agentes basados en grandes modelos lingüísticos: A Survey también resume la bibliografía existente sobre agentes basados en LLM, pero propone una arquitectura de 3 módulos que los explica mejor: cerebro (lenguaje natural, razonamiento, planificación, memoria, conocimiento y generalización), percepción (varias modalidades de entradas) y acción (salida de texto, herramientas o acción encarnada). El estudio también explora los sistemas multiagente, tanto adversarios como cooperativos. Las ventajas de los sistemas multiagente cooperativos son la mayor eficacia de las tareas, la mejora de las decisiones colectivas y la resolución de problemas complejos del mundo real que un solo agente no puede resolver por sí solo. La principal ventaja de los sistemas multiagente adversariales es que cuando varios agentes expresan sus argumentos en el estado de "ojo por ojo", un agente puede recibir una importante retroalimentación externa de otros agentes, corrigiendo así sus pensamientos distorsionados.

• Intelligent Virtual Assistants with LLM-based Process Automation presenta un novedoso sistema para mejorar asistentes virtuales como Siri, Alexa y Google Assistant con capacidades basadas en Large Language Model (LLM). Este sistema está diseñado para realizar operaciones de varios pasos dentro de aplicaciones móviles basadas en peticiones del usuario en lenguaje natural, superando las limitaciones anteriores en el manejo de instrucciones complejas. Mediante una arquitectura que incluye módulos para descomponer instrucciones, generar descripciones, detectar elementos de la interfaz y predecir las acciones siguientes, el sistema demuestra un rendimiento mejorado en la ejecución de tareas dentro de la aplicación Alipay.

• LLM-Powered Hierarchical Language Agent for Real-time Human-AI Coordination propone un Agente de Lenguaje Jerárquico (HLA) para la coordinación humano-AI que proporciona fuertes capacidades de razonamiento, manteniendo la ejecución en tiempo real. En concreto, HLA adopta un marco jerárquico y consta de tres módulos: un LLM competente, denominado Slow Mind, para el razonamiento de intenciones y la interacción lingüística, un LLM ligero, denominado Fast Mind, para generar macroacciones, y una política reactiva, denominada Executor, para transformar las macroacciones en acciones atómicas. Los estudios en humanos demuestran que HLA supera a otros agentes de referencia, incluidos los agentes de mente lenta y los agentes de mente rápida, con mayores capacidades de cooperación, respuestas más rápidas y comunicaciones lingüísticas más coherentes.

• WebVoyager utilizó un gran modelo multimodal (LMM) diseñado para completar de forma autónoma tareas en sitios web del mundo real de principio a fin interactuando tanto con capturas de pantalla como con contenido textual.

• Los Agentes Creativos mejoran el rendimiento de los agentes añadiendo un "imaginador" que permite a un LLM o a un generador de imágenes imaginar los resultados de las tareas antes de completarlas.

• Los LLM pequeños son herramientas de aprendizaje débiles: A Multi-LLM Agent propone un marco denominado -UMi, que descompone las capacidades de un único Large Language Model (LLM) en tres componentes: un planificador, un llamador y un resumidor, cada uno implementado por un LLM distinto especializado en una tarea específica. Este enfoque pretende abordar las limitaciones de los LLM más pequeños en el aprendizaje de herramientas, permitiendo un entrenamiento más centrado y actualizaciones más sencillas. Una estrategia de ajuste fino en dos fases mejora el rendimiento general del modelo en el uso de herramientas, demostrando una mayor eficiencia que los enfoques tradicionales de un solo LLM en varios puntos de referencia.

• AGI-Samantha introduce una arquitectura modular para incitar a los LLM a crear "un agente autónomo para conversaciones capaz de pensar y hablar libremente, de forma continua" Consta de los siguientes módulos:

  • La memoria a corto plazo se almacena como una cadena en Python, mientras que la memoria a largo plazo es un diccionario. La primera registra lo que dice el usuario, lo que dice Samantha y sus pensamientos. La segunda agrupa el conocimiento denso y la información abstraída de la primera.

  • Pensamiento: Recibe como entrada la Memoria a Largo Plazo, la Memoria a Corto Plazo, el Subconsciente, la Consciencia y el tiempo actual. La salida será una unidad de un pensamiento (Similar a cuando se le pide a LLM que piense paso a paso, la salida de este módulo es un paso)

  • Conciencia: Recibe como entrada la Memoria a Largo Plazo, la Memoria a Corto Plazo y el Subconsciente. El resultado será una decisión sobre si seguir pensando o hablar y, en caso de seguir pensando, también dirá en qué pensar y por qué (si se le pide que diga por qué, mejora la coherencia).

  • Subconsciente: Recibe como entrada la Memoria a Largo Plazo, la Memoria a Corto Plazo y el Subconsciente junto con la entrada visual y textual. La salida será el resumen del contexto de lo que está ocurriendo, los estímulos visuales y textuales (si existen), y los sentimientos y emociones de los agentes sobre lo que está ocurriendo.

  • Respuesta: Recibe como entrada la Memoria a Largo Plazo, la Memoria a Corto Plazo y el Subconsciente. La salida será lo que el agente hable en voz alta para el usuario, hecho como una composición de sus pensamientos.

  • Memoria_Leer: Recibe como entrada la Memoria a Corto Plazo y el nombre de las categorías de la Memoria a Largo Plazo "Palabras Clave". La salida será una lista de las categorías/palabras clave más relevantes dado el contexto de la Memoria a Corto Plazo. (A continuación, el código transmite las entradas de las categorías seleccionadas a los demás módulos como parte relevante de la "Memoria a largo plazo").

  • Memoria_Seleccionar: Similar a Memory_Read pero en lugar de seleccionar las palabras clave relevantes para que el agente las recuerde dada la reciente Memoria a Corto Plazo, este módulo selecciona las palabras clave relevantes para que el agente almacene nueva información en su interior, dadas las entradas más antiguas de la Memoria a Corto Plazo. La salida es una lista de palabras clave. (El código expande estas palabras clave y alimenta Memory_Write).

  • Memoria_Escritura: Recibe como entrada las palabras clave ampliadas y la Memoria a Corto Plazo. La salida serán las palabras clave ampliadas con las adiciones y modificaciones realizadas por el módulo. (El código actualizará la Memoria a Largo Plazo con las modificaciones).

• LLM como SO propone una arquitectura análoga a la de un sistema operativo, con el propio LLM comparado con el kernel, la ventana de contexto comparada con la memoria, las bases de datos vectoriales comparadas con la memoria externa, las herramientas de hardware a las que el LLM puede acceder comparadas con los dispositivos periféricos, las herramientas de software a las que el LLM puede conectarse comparadas con las librerías de programación, los avisos al usuario similares a la interfaz de usuario y los agentes comparados con la capa de aplicación.

• GAIA presenta un punto de referencia para asistentes de IA de propósito general que podemos utilizar para evaluar el rendimiento de cualquier agente que construyamos.

El desarrollo de agentes autónomos de IA representa una oportunidad transformadora para Open Paws, ya que nos permite desplegar sofisticadas estrategias basadas en la IA en nuestra lucha por los derechos de los animales.

Estos agentes, capaces de sortear dilemas éticos y atraer a públicos diversos, pueden convertirse en aliados inestimables en nuestra misión.

Ofrecen un enfoque dinámico e interactivo de la promoción, ampliando nuestro alcance más allá de los métodos tradicionales.

Herramientas, módulos y memoria

La fusión de la generación aumentada por recuperación con las bases de datos gráficas mejora la comprensión de la IA y ofrece herramientas revolucionarias para la defensa de los animales.

Mediante la integración de módulos de memoria y conectividad API, la IA puede ahora elaborar estrategias y ejecutar complejas campañas de promoción, con capacidades de interpretación de código que permiten el desarrollo autónomo de herramientas.

La personalización a través de la integración de usuarios adapta aún más estos esfuerzos, prometiendo un alcance más específico e impactante.

• Dos cabezas piensan mejor que una combina el conocimiento estructural de los grafos de conocimiento (KG) con el conocimiento semántico de los grandes modelos lingüísticos (LLM) para mejorar la alineación de entidades. Introduce un método para filtrar las entidades candidatas a la alineación basándose tanto en las características estructurales de los KG como en los conocimientos semánticos de los LLM. Los experimentos muestran que LLMEA supera significativamente a los modelos existentes, lo que subraya la eficacia de integrar el conocimiento de KG y LLM para la alineación de entidades.

• ChatGraph combina la recuperación de API, los módulos LLM con conciencia de grafos y el ajuste orientado a la cadena de API para dar soporte a completas funcionalidades de análisis de grafos.

• ChatQA demostró que el ajuste fino de un módulo recuperador para RAG aumenta el rendimiento, mientras que artículos como Toolformers y Gorilla muestran que el ajuste fino de un llamador de API también aumenta el rendimiento.

• User Embedding Model for Personalized Language Prompting convierte largos historiales de usuario en incrustaciones para mejorar los sistemas de recomendación, pero parece que también podría utilizarse para mejorar la GAR.

• LLMs may Dominate Information Access muestra que los modelos neuronales de recuperación tienden a clasificar los documentos generados por LLMs más alto que los documentos clasificados por humanos, sugiriendo que RAG puede funcionar mejor cuando se buscan resúmenes de información generados por IA.

• PaperQA utiliza Retrieval-Augmented Generation (RAG) para responder a preguntas científicas utilizando la literatura científica. PaperQA supera a los Large Language Models (LLM) existentes y a las herramientas comerciales ajustando dinámicamente sus pasos para garantizar respuestas precisas y relevantes. Incorpora innovaciones como componentes RAG modulares, un enfoque map-reduce para la recopilación de pruebas y puntuaciones de relevancia generadas por LLM para la recuperación de textos. Además, el artículo presenta un nuevo conjunto de datos, LitQA, para evaluar la respuesta a preguntas científicas basada en la recuperación, demostrando que el rendimiento de PaperQA es comparable al de investigadores humanos expertos.

• ART mejora los LLM generando pasos intermedios de razonamiento e incorporando herramientas externas para el cálculo. ART genera automáticamente programas para nuevas tareas, utilizando una biblioteca de tareas para el razonamiento multipaso y la selección de herramientas. Mejora significativamente el rendimiento con respecto a los métodos existentes en puntos de referencia como BigBench y MMLU y es fácilmente extensible para la intervención humana.

• Large Language Models as Tool Makers presenta LATM, un marco que permite a los LLM crear y utilizar sus propias herramientas para la resolución de problemas. Los LLM actúan como "creadores de herramientas" para generar funciones útiles de Python para tareas específicas y, a continuación, como "usuarios de herramientas" para aplicarlas a la resolución de problemas. Este enfoque permite el uso rentable de modelos potentes para la creación de herramientas y modelos ligeros para la resolución de problemas, demostrando una mayor eficiencia y rendimiento en diversas tareas de razonamiento.

• Empowering Working Memory for Large Language Model Agents propone un modelo que incorpora un centro de memoria de trabajo y un búfer episódico para retener recuerdos a través de episodios de diálogo, con el objetivo de proporcionar un razonamiento contextual matizado para tareas complejas. El artículo sugiere que esta arquitectura podría mejorar significativamente las capacidades de memoria de los agentes LLM y aboga por seguir investigando para optimizar los mecanismos de memoria en la IA.

• De LLM a agente conversacional: A Memory Enhanced Architecture with Fine-Tuning of Large Language Models presenta RAISE, un marco diseñado para mejorar los agentes conversacionales mediante la integración de sistemas de memoria análogos a la memoria humana a corto y largo plazo. Esta arquitectura pretende mejorar la adaptabilidad y el conocimiento del contexto de los agentes en diálogos multiturno.

• Augmenting Language Models with Long-Term Memory (Aumento de los modelos lingüísticos con memoria a largo plazo) presenta un marco denominado LongMem, cuyo objetivo es superar las limitaciones de longitud de entrada de los grandes modelos lingüísticos (LLM) mediante la incorporación de un módulo de memoria a largo plazo. Este módulo permite a los LLM recordar y utilizar un contexto amplio de interacciones pasadas, mejorando significativamente su capacidad para manejar información de contexto largo.

• MemGPT explora el concepto de mejorar los grandes modelos lingüísticos (LLM) con un sistema de memoria jerárquica inspirado en los sistemas operativos para gestionar el contexto ampliado de forma más eficiente. Este enfoque permite a los LLM realizar tareas que requieren memoria a largo plazo y una gestión compleja del contexto, como el análisis de documentos y el chat multisesión, gestionando dinámicamente la información entre la memoria principal y la externa. MemGPT demuestra un rendimiento mejorado en estas áreas.

• LLMind utiliza grandes modelos de lenguaje (LLM) para integrarse con módulos de inteligencia artificial específicos de cada dominio, lo que permite a los dispositivos IoT ejecutar tareas complejas. Utiliza máquinas de estado finito para una transformación precisa del código del lenguaje, un juego de roles para respuestas contextualmente apropiadas y una plataforma de fácil uso para la interacción. También utiliza el análisis semántico y la optimización de respuestas para aumentar la velocidad y la eficacia, con el objetivo de crear un ecosistema de dispositivos IoT sofisticado y en evolución.

Los últimos avances en tecnologías de IA ofrecen a Open Paws oportunidades sin precedentes para profundizar y personalizar nuestros esfuerzos de promoción.

El uso de la generación aumentada por recuperación junto con las bases de datos gráficas permite a nuestra IA captar complejas interrelaciones dentro del vasto dominio de los derechos de los animales, elaborando mensajes y estrategias con una precisión antes inalcanzable.

Al dotar a la IA de módulos para la planificación estratégica y la adopción de medidas, podemos automatizar campañas matizadas que se adapten a la evolución en tiempo real del panorama de la defensa de los animales. Estos agentes de IA pueden generar y perfeccionar de forma autónoma sus herramientas de defensa, garantizando que nuestros enfoques sigan siendo vanguardistas.

Orientaciones futuras

Es probable que los avances hacia la AGI pasen por arquitecturas multimodales, cognitivas y modulares.

Las actuales tecnologías no invasivas, como los auriculares EEG, permiten interpretar las ondas cerebrales, lo que apunta a futuras posibilidades de recopilación directa de datos para el entrenamiento de la IA, sobre todo utilizando la neurorretroalimentación para mejorar la capacidad de persuasión evitando los sesgos de deseabilidad social.

Tecnologías más invasivas como Neuralink podrían ampliar aún más esta recopilación de datos.

Mientras tanto, la creciente adopción de la RV/RA ofrece nuevas experiencias inmersivas.

La formación descentralizada de la IA es prometedora, ya que podría aprovechar las criptomonedas para recompensar a quienes ofrezcan voluntariamente recursos informáticos, lo que podría revolucionar la formación de modelos para movimientos como el de los derechos de los animales mediante la utilización de la potencia informática de voluntarios distribuidos.

• A Review of Findings from Neuroscience and Cognitive Psychology as Possible Inspiration for the Path to Artificial General Intelligence (Una revisión de los descubrimientos de la neurociencia y la psicología cognitiva como posible inspiración para el camino hacia la Inteligencia Artificial General ) descubrió que los mayores puntos débiles de los actuales sistemas de IA son el razonamiento abstracto y la comprensión causal, pero sugiere que los descubrimientos de la psicología cognitiva y la neurociencia podrían colmar estas lagunas, abarcando desde las neuronas biológicas de nivel inferior, las redes neuronales de picos y los conjuntos neuronales hasta conceptos de nivel superior como la anatomía cerebral, las arquitecturas simbólicas vectoriales, los modelos cognitivos y de categorización y las arquitecturas cognitivas.

• De Google Gemini a OpenAI Q* (Q-Star): A Survey of Reshaping the Generative Artificial Intelligence (AI) Research Landscape sugiere un "uso equilibrado y concienzudo de la ME, la multimodalidad y la AGI en la IA generativa" como camino hacia sistemas de IA más avanzados.

• Semantic reconstruction of continuous language from non-invasive brain recordings (Reconstrucción semántica del lenguaje continuo a partir de grabaciones cerebrales no invasivas ) descubrió que se puede interpretar el habla y los vídeos reales, percibidos o imaginados a partir de ondas cerebrales registradas por dispositivos no invasivos mediante IA, con la salvedad de que se requiere la cooperación del sujeto tanto para el entrenamiento como para la descodificación.

• El neuromarketing impulsado por Internet de Todo mostró que una amplia gama de dispositivos no invasivos, como auriculares EEG o SST, sensores ECG, dispositivos de seguimiento ocular y dispositivos GSR portátiles, pueden proporcionar neurofeedback que los profesionales del marketing pueden utilizar para hacer más persuasivas las campañas publicitarias.

• Ravnest: Decentralized Asynchronous Training on Heterogeneous Devices presenta un enfoque para el entrenamiento asíncrono descentralizado, con el objetivo de mejorar la eficiencia de la comunicación y la velocidad de convergencia del modelo. Se centra en el uso de algoritmos all-reduce para el promediado de parámetros entre pares y explora técnicas de reducción adecuadas para entornos descentralizados.

• Decentralized Training of Foundation Models in Heterogeneous Environments se centra en los retos de programación en entornos de formación descentralizados, en particular para modelos de cimentación como GPT-3. Explora técnicas para optimizar el rendimiento de la formación mediante la asignación eficaz de tareas computacionales entre dispositivos con distintas velocidades y capacidades de comunicación. Explora técnicas para optimizar el rendimiento del entrenamiento mediante la asignación eficaz de tareas computacionales entre dispositivos con distintas velocidades y capacidades de comunicación.

• Secure and Efficient Federated Learning Through Layering and Sharding Blockchain presenta ChainFL, un marco que mejora la seguridad y la eficiencia del aprendizaje federado (FL) utilizando blockchain. Mediante la adopción de una arquitectura blockchain de dos capas, ChainFL pretende abordar las limitaciones de escalabilidad y rendimiento de los sistemas blockchain tradicionales en escenarios FL. El sistema consta de una capa de subcadena para el consenso local entre los dispositivos IoT y una capa de cadena principal basada en un grafo acíclico dirigido (DAG) para facilitar el procesamiento asíncrono de modelos entre fragmentos. Este diseño permite mejorar el paralelismo en el consenso y reducir los requisitos de almacenamiento, lo que lo hace especialmente adecuado para tareas de FL a gran escala en las que intervienen dispositivos IoT con recursos limitados.

• El aprendizaje federado descentralizado basado en blockchain propone un marco de aprendizaje federado basado en blockchain, denominado BFLC (Blockchain-based Federated Learning with Committee consensus). Este marco pretende abordar los problemas de seguridad en el aprendizaje federado descentralizando el almacenamiento y el intercambio de modelos globales y locales mediante la tecnología blockchain. Para mejorar la eficiencia y reducir los ataques maliciosos, BFLC emplea un mecanismo de consenso de comité.

El potencial de la multimodalidad y las arquitecturas cognitivas hace avanzar considerablemente la defensa de los animales.

Open Paws debe desarrollar una IA que procese datos diversos, incluidas imágenes, audio y señales emocionales, fomentando una comunicación empática y persuasiva en favor de los derechos de los animales.

Al integrar la neurorretroalimentación, la IA puede optimizarse con datos biométricos, garantizando que las campañas resuenen a nivel subconsciente.

Además, la exploración de las tecnologías de realidad virtual y realidad aumentada puede crear experiencias atractivas y empáticas que ayuden a comprender mejor la difícil situación de los animales.

Adoptar la formación descentralizada y los métodos de blockchain puede democratizar el desarrollo de la IA, alineándose con los valores de transparencia, seguridad y propiedad compartida, reduciendo las barreras y fomentando la colaboración, acelerando así nuestra misión.

Conclusión

En esta revisión se han explorado las últimas investigaciones y técnicas que pueden aprovecharse para desarrollar un sistema de IA especialmente alineado con la promoción de los intereses de los animales.

Mediante una cuidadosa selección de datos, el empleo de estrategias eficaces de preentrenamiento y la utilización de arquitecturas y métodos de ajuste de última generación, podemos crear un sistema que no sólo alcance un alto rendimiento, sino que también encarne los principios éticos del movimiento por los derechos de los animales.

La evaluación rigurosa y la evaluación comparativa serán cruciales para garantizar que el sistema muestre un sesgo mínimo, mantenga la veracidad y refleje con precisión las perspectivas y objetivos de la defensa de los animales.

Técnicas como el aprendizaje reforzado a partir de las reacciones humanas y de la IA, junto con métodos avanzados de ingeniería de impulsos, son prometedoras para mejorar aún más la capacidad de razonamiento del sistema y su alineación con la causa.

Y lo que es más importante, las posibles aplicaciones derivadas de un sistema de IA de este tipo podrían resultar transformadoras para el movimiento por los derechos de los animales. Desde la persuasión personalizada a gran escala hasta la creación de contenidos y la asistencia inteligente, esta tecnología podría amplificar nuestra capacidad para inspirar un cambio positivo en las actitudes y comportamientos hacia otros animales.

A medida que este campo siga evolucionando, será primordial un compromiso con la colaboración abierta, las prácticas éticas y un enfoque implacable en el bienestar de otros animales. Aprovechando el poder de la IA de forma responsable y decidida, podemos crear un sistema que sirva como multiplicador de fuerza para nuestros esfuerzos de defensa, acercándonos a un mundo en el que se respeten y protejan los intereses de otros animales.