Desarrollo de Soluciones con IA Generativa

La IA generativa se refiere a una categoría de inteligencia artificial capaz de generar texto, imágenes, código, audio y otros formatos de contenido a partir de datos de entrada o indicaciones. Utiliza potentes modelos de aprendizaje automático conocidos como modelos fundacionales, que se preentrenan con grandes volúmenes de datos y pueden ajustarse para tareas específicas.

Uno de los tipos más destacados de modelos fundacionales son los grandes modelos de lenguaje (LLMs). Estos modelos pueden comprender y generar lenguaje humano. Herramientas como ChatGPT, Claude y modelos de Hugging Face o Meta son ejemplos de LLMs.

En el contexto de Databricks, la IA generativa se utiliza para acelerar tareas de datos, mejorar la interacción con el usuario mediante lenguaje natural y crear asistentes o aplicaciones inteligentes. Este artículo explora cómo Databricks te ayuda a comenzar a través de su curso Generative AI Solution Development y laboratorios prácticos.

Databricks ofrece un recurso excelente llamado Databricks Academy, que incluye una variedad de cursos y laboratorios para aprender sobre la plataforma y sus capacidades. En este artículo, profundizaremos en el curso de Desarrollo de Soluciones con IA Generativa, que es un laboratorio práctico que introduce los fundamentos de la IA generativa y su aplicación en escenarios reales.

Ilustración que representa las capacidades de la IA Generativa — Imagen de Seanprai S. en Vecteezy

Introducción a la Ingeniería de Prompts

Conceptos básicos…

Para empezar, cubramos los conceptos básicos de la ingeniería de prompts. La ingeniería de prompts se refiere al proceso de diseñar y refinar indicaciones para optimizar la respuesta de un modelo de lenguaje (LM). Se trata de crear prompts que guíen al modelo para producir respuestas relevantes y precisas.

• Prompt: La entrada o consulta dada al modelo de lenguaje para obtener una respuesta.
• Ingeniería de prompts: La práctica de diseñar y refinar prompts para optimizar la respuesta del modelo.

Componentes del Prompt

Estos son los principales componentes de un prompt:

• Instrucción: La tarea o pregunta que deseas que el modelo aborde.
• Contexto: Información adicional o antecedentes para ayudar al modelo a comprender mejor la tarea.
• Entrada: Los datos o ejemplos específicos proporcionados al modelo para ayudar a generar la respuesta.
• Salida: El resultado o respuesta esperada generada por el modelo.

Técnicas de Ingeniería de Prompts

Ahora, exploremos varias técnicas de ingeniería de prompts que pueden ayudar a mejorar el rendimiento del modelo. En este blog, cubriremos algunas de las técnicas más comunes que puedes empezar a usar.

Zero-shot / Few-shot Prompting

• Zero-shot prompting: Le das al modelo una tarea sin ejemplos. El modelo se basa en su conocimiento previo para generar una respuesta. Ejemplo de prompt:

  Traduce la siguiente frase en inglés al español: ‘Hello, how are you?’

  Escribe una consulta SQL de Databricks que analice datos de clientes.

• Few-shot prompting: Proporcionas al modelo algunos ejemplos de la tarea que deseas que realice. Ejemplo de prompt: Un ejemplo sencillo de few-shot prompting relacionado con Databricks:

  Escribe una consulta SQL de Databricks. Aquí tienes algunos ejemplos:

  1. Una consulta que cuente los usuarios activos diarios de la tabla de eventos.
  2. Una consulta que calcule el valor promedio de compra por segmento de cliente.
  3. Una consulta que identifique los productos de mejor rendimiento por región.

Encadenamiento de Prompts (Prompt Chaining)

El encadenamiento de prompts implica dividir una tarea compleja en pasos más pequeños y manejables. Esto ayuda al modelo a centrarse en cada paso y generar respuestas más precisas. Ejemplo:

Prompt inicial:

Eres un experto en Data Engineering. Escribe un resumen para mi blog sobre cómo usar Databricks Community Edition.

Prompt de seguimiento:

¡Genial! Ahora escribe una introducción basada en este resumen.

Prompt de seguimiento:

Excelente. Ahora expande esto en una sección titulada “¿Por qué usar Databricks Community Edition?”

Y continúa con prompts separados para cada sección posterior.

Encadenamiento de Pensamiento (Chain-of-Thought Prompting)

Similar al encadenamiento de prompts, el encadenamiento de pensamiento pide al modelo que explique su razonamiento o proceso de pensamiento en cada paso. Esto mejora la calidad y precisión de las respuestas. Por ejemplo:

Si Susana es 5 años mayor que Juan, y Juan tiene 10 años, ¿cuántos años tiene Susana? Pensemos paso a paso para resolver este problema.

Quiero crear un pipeline de Delta Live Table en Databricks. Pensemos paso a paso.

Consejos y Trucos para la Ingeniería de Prompts

Los prompts son específicos del modelo

Diferentes modelos pueden responder de manera diferente al mismo prompt. Es importante experimentar con diferentes prompts y técnicas para encontrar lo que mejor funciona para tu caso de uso.

• Diferentes modelos pueden requerir diferentes formatos de prompt.
• Diferentes casos de uso pueden beneficiarse de diferentes estilos de prompt.
• Cada modelo tiene sus propias fortalezas y debilidades.
• El desarrollo iterativo es clave: prueba, ajusta y vuelve a probar.
• Ten en cuenta los sesgos y alucinaciones en las respuestas del modelo.

Ayuda el formato de los prompts

Usar un formato específico para tus prompts puede ayudar al modelo a comprender mejor la tarea y generar respuestas más precisas. Por ejemplo:

• Usa viñetas, listas numeradas o delimitadores claros.
• Solicita formatos de salida estructurados como: HTML, JSON o Markdown.

Formatear tanto el prompt como la respuesta esperada ayuda a reducir la ambigüedad.

Guía al modelo para mejores respuestas

Puedes mejorar la calidad de la respuesta guiando explícitamente al modelo:

• Pide al modelo que no invente información. Por ejemplo:

  Si no sabes la respuesta, di que no lo sabes. Evita adivinar. Sé factual.

• Pide al modelo que sea conciso/específico. Por ejemplo:

  Proporciona una respuesta concisa en 2–3 frases. Condensa esta explicación.

• Evita suposiciones o información sensible. Por ejemplo:

  No asumas género, edad o intención. Evita pedir datos personales como números de seguro social o teléfonos.

• Fomenta el razonamiento paso a paso. Por ejemplo:

  Piensa paso a paso. Hazme preguntas una a la vez y espera mi respuesta.

Guía al modelo especificando requisitos, como pedirle que evite suposiciones o que sea conciso.

Beneficios y Limitaciones de la Ingeniería de Prompts

Beneficios

• Sencillo y eficiente.
• Resultados predecibles.
• Salida personalizada.

Limitaciones

• La salida depende del modelo utilizado.
• Limitado por el conocimiento preentrenado.
• Puede requerir múltiples iteraciones.
• Puede requerir conocimiento específico del dominio.

Construcción de Aplicaciones de IA Generativa en Databricks

Databricks proporciona una plataforma unificada y potente para crear y desplegar aplicaciones de IA generativa usando tus propios datos. A través de Mosaic AI y el soporte nativo para modelos fundacionales, los desarrolladores pueden crear aplicaciones sofisticadas que van más allá de los prompts simples. Esta sección introduce el enfoque de Databricks para construir aplicaciones de IA generativa de nivel empresarial.

Patrones para Aplicaciones de IA Generativa

Databricks distingue entre dos patrones principales de desarrollo:

• Patrón de Prompt Monolítico: Envías un prompt cuidadosamente diseñado a un LLM y recibes una respuesta. Es útil para tareas simples como resumen, reformulación o preguntas y respuestas básicas.

  Ejemplo:

  Resume el siguiente notebook de Databricks sobre optimización de Delta Lake.

• Patrón Basado en Agentes: Un sistema más avanzado donde un agente coordina múltiples herramientas—como un LLM, un recuperador y un ejecutor de herramientas—para completar tareas de varios pasos. Es adecuado para aplicaciones más dinámicas e interactivas, como copilotos de IA o agentes de datos autónomos.

  Ejemplo:

  Un usuario pregunta: “Genera un informe de ingresos del último trimestre.” El sistema recupera las tablas correctas, construye consultas SQL y usa el LLM para narrar los hallazgos.

Estos patrones pueden implementarse directamente en notebooks usando LangChain, LlamaIndex o Semantic Kernel, todos compatibles con Databricks.

¿Qué es Mosaic AI?

Mosaic AI es la solución de Databricks para construir y desplegar aplicaciones de IA generativa listas para producción a escala. Proporciona un conjunto completo de herramientas para trabajar con modelos fundacionales, implementar generación aumentada por recuperación (RAG) y gestionar operaciones de modelos de lenguaje (LLMOps).

¿Por qué es importante Mosaic AI?

Las plataformas tradicionales de ML no fueron diseñadas para las necesidades únicas de la IA generativa—como manejar datos no estructurados, integrar modelos fundacionales o gestionar la iteración continua de prompts y comportamiento del modelo. Mosaic AI cubre esa brecha ofreciendo:

• Integración fluida con frameworks open-source como LangChain y LlamaIndex.
• Soporte nativo para modelos fundacionales como LLaMA 2 y MPT, incluyendo ajuste fino de modelos.
• Herramientas de observabilidad y evaluación diseñadas para monitorear el rendimiento de LLMs.
• Funciones de seguridad y gobernanza para ayudar a las empresas a desplegar de forma responsable.

Ejemplo: Flujo de Trabajo de Extremo a Extremo con Mosaic AI

Supón que quieres construir un chatbot de soporte usando la documentación interna de tu empresa. Así te apoyaría Mosaic AI:

1. Ingiere datos no estructurados usando notebooks y pipelines de Databricks.
2. Genera y almacena embeddings en un vector store.
3. Usa LangChain o LlamaIndex para conectar el LLM con tu base de conocimiento (patrón RAG).
4. Despliega la aplicación vía una API o app de Streamlit.
5. Monitorea las respuestas del modelo usando las herramientas de evaluación de Mosaic AI.

Componentes de Mosaic AI

Mosaic AI está compuesto por varios componentes integrados para soportar todo el ciclo de vida de desarrollo de aplicaciones de IA generativa:

• Mosaic AI Training: Permite el ajuste fino de modelos fundacionales usando métodos eficientes como LoRA, permitiendo personalización con menor coste computacional.
• Mosaic AI Model Serving: Proporciona infraestructura escalable para servir modelos fundacionales vía APIs en tiempo real o procesamiento por lotes.
• Mosaic AI Gateway: Actúa como interfaz unificada para interactuar con múltiples proveedores o endpoints de LLM, facilitando el cambio entre modelos alojados y de terceros.
• Mosaic AI Evaluation: Ofrece herramientas integradas para evaluar salidas del modelo, detectar alucinaciones y medir la calidad de las respuestas con métricas automáticas y feedback humano.
• Integración RAG y LangChain/LlamaIndex: Mosaic AI soporta RAG de forma nativa permitiendo integración con LangChain o LlamaIndex, para que los LLMs recuperen contexto de fuentes de datos empresariales.

Caso de Uso: Automatización del Soporte de Base de Conocimiento

Imagina que una empresa quiere crear un asistente inteligente que responda preguntas técnicas de soporte basadas en documentación interna:

1. Ajusta un LLM open-source con tickets de soporte usando Mosaic AI Training.
2. Ingiere manuales y guías de producto usando un pipeline que almacene embeddings en un vector store.
3. Conecta el modelo a los datos usando LangChain + RAG para recuperación precisa de documentos.
4. Sirve el asistente con Mosaic AI Serving, canalizando llamadas a través de Mosaic Gateway.
5. Monitorea y evalúa las salidas usando Mosaic Evaluation para asegurar respuestas precisas y seguras.

Este flujo reduce costes de soporte, mejora el autoservicio y mantiene la gobernanza de datos centralizada en tu entorno Databricks.

Introducción a RAG

La Generación Aumentada por Recuperación (RAG) es un patrón poderoso que mejora las capacidades de los LLMs conectándolos a fuentes de datos externas. En vez de depender solo de lo aprendido en el entrenamiento, RAG permite recuperar información relevante de documentos estructurados o no estructurados en tiempo real, mejorando la precisión y reduciendo alucinaciones.

¿Por qué RAG?

Aunque los LLMs son impresionantes generando lenguaje humano, pueden tener dificultades para dar respuestas precisas en temas específicos o sensibles al tiempo. RAG soluciona esto combinando:

• Recuperación: Buscar contexto relevante en una base de conocimiento, como documentación interna, wikis, PDFs o bases de datos.
• Generación: Pasar el contenido recuperado al prompt para guiar la salida del LLM.

Este enfoque híbrido ayuda a entregar respuestas más fundamentadas y contextuales.

RAG en Databricks

Databricks ofrece un entorno robusto y escalable para implementar flujos de trabajo RAG usando herramientas conocidas:

• Ingiere y preprocesa datos no estructurados (manuales, tickets de soporte, blogs) usando notebooks y pipelines Delta.
• Genera e indexa embeddings en un vector store usando modelos como BGE u OpenAI.
• Integra con frameworks de recuperación como LangChain o LlamaIndex para construir el pipeline de recuperación.
• Pasa contexto al LLM (MPT, LLaMA 2, etc.) junto con el prompt del usuario para generar una respuesta fundamentada en datos empresariales.

Ejemplo de Flujo de Trabajo: Sistema RAG Potenciado por Databricks

1. Usa un notebook para cargar documentación interna en PDF.
2. Divide y limpia los datos de texto usando utilidades de LangChain.
3. Genera embeddings usando un modelo compatible (OpenAI, Hugging Face, etc.).
4. Almacena los embeddings en una base de datos vectorial (FAISS, Chroma).
5. Crea una cadena de recuperación que busque fragmentos relevantes ante una consulta.
6. Pasa el contexto recuperado y el prompt original a un LLM vía Model Serving de Databricks o API externa.
7. Muestra la respuesta fundamentada y rica en contexto en un chatbot o app.

Beneficios de RAG en la Empresa

• Mejora la precisión de las salidas de LLMs al fundamentarlas en datos actuales y verificados.
• Reduce riesgos de respuestas alucinadas o desactualizadas.
• Mantiene datos sensibles privados controlando la fuente del contenido.
• Permite respuestas dinámicas incluso con modelos más pequeños y ajustados.

Con Databricks, todas las etapas de la arquitectura RAG—desde la ingesta y recuperación hasta la generación y evaluación—pueden desarrollarse y desplegarse en una plataforma segura y unificada.

Recursos:

• Databricks Academy
• Curso de Desarrollo de Soluciones con IA Generativa
• Mosaic AI
• Documentación de Databricks
  • Machine Learning