El software nativo de IA no es software normal con una función de IA agregada. Es software diseñado desde el principio en torno a las capacidades y limitaciones de los modelos de IA: razonamiento no determinista, alta latencia, costos variables por llamada y la necesidad de evaluación continua del modelo.
Los LLMs son no deterministas: el mismo input produce outputs diferentes. El sistema debe estar diseñado para manejar la varianza. Los LLMs tienen alta latencia: los flujos de trabajo de usuario deben ser asíncronos o de streaming para sentirse responsivos. Los LLMs son caros por llamada: la arquitectura debe minimizar las llamadas innecesarias.
El software normal se prueba con tests unitarios que tienen outputs deterministas. El software de IA requiere evaluación: conjuntos de datos de referencia, criterios de éxito definidos y un proceso para detectar regresión del modelo después de actualizaciones.
RAG (Retrieval-Augmented Generation): conecta el modelo a tu base de conocimiento para reducir alucinaciones. Agentes con herramientas: el modelo puede llamar APIs externas, ejecutar código y navegar datos. Pipelines de procesamiento: usa el modelo como un paso en un pipeline de datos más amplio.
Asumir que el rendimiento del modelo es estable: los proveedores actualizan modelos frecuentemente. Sin gestión de prompts: los prompts son código de producción y deben ser versionados y probados.
Axented construye sistemas de IA nativos para equipos de producto que quieren ir más allá de los demos.
%20(1)-2.svg)
