El software nativo de IA no es software normal con una función de IA agregada. Es software diseñado desde el principio en torno a las capacidades y limitaciones de los modelos de IA: razonamiento no determinista, alta latencia, costos variables por llamada y la necesidad de evaluación continua del modelo.
Los LLMs son no deterministas: el mismo input produce outputs diferentes. El sistema debe estar diseñado para manejar la varianza. Los LLMs tienen alta latencia: los flujos de trabajo de usuario deben ser asíncronos o de streaming para sentirse responsivos. Los LLMs son caros por llamada: la arquitectura debe minimizar las llamadas innecesarias.
El software normal se prueba con tests unitarios que tienen outputs deterministas. El software de IA requiere evaluación: conjuntos de datos de referencia, criterios de éxito definidos y un proceso para detectar regresión del modelo después de actualizaciones.
RAG (Retrieval-Augmented Generation): conecta el modelo a tu base de conocimiento para reducir alucinaciones. Agentes con herramientas: el modelo puede llamar APIs externas, ejecutar código y navegar datos. Pipelines de procesamiento: usa el modelo como un paso en un pipeline de datos más amplio.
Asumir que el rendimiento del modelo es estable: los proveedores actualizan modelos frecuentemente. Sin gestión de prompts: los prompts son código de producción y deben ser versionados y probados.
Axented construye sistemas de IA nativos para equipos de producto que quieren ir más allá de los demos.
Tu próximo gran proyecto empieza con una llamada. 30 minutos. Analizamos tu idea, te recomendamos el servicio adecuado y respondemos todas tus preguntas. Sin presentaciones de venta, sin presión.
.svg){kind=icon}
%20(1)-2.svg)
