Databricks Lakebase – La nueva era de las bases de datos transaccionales en el Lakehouse

Base de datos Postgres totalmente administrada, diseñada para unificar análisis y operaciones para aplicaciones inteligentes

Databricks ha lanzado Lakebase, un producto que marca un punto de inflexión en el manejo de bases de datos de procesamiento de transacciones en línea (“Online Transaction Processing” - OLTP). Al integrar un motor de base de datos PostgreSQL completamente gestionado dentro de su plataforma, Lakebase aborda los desafíos de las arquitecturas de datos fragmentadas, ofreciendo una solución que combina la familiaridad de SQL con la escalabilidad y la eficiencia de un lakehouse.

¿Qué es Lakebase?

En su esencia, Lakebase es una instancia de PostgreSQL que funciona como un servicio dentro de la Plataforma de Inteligencia de Datos de Databricks. A diferencia de las bases de datos OLTP tradicionales, su arquitectura desacoplada separa el almacenamiento de la computación, lo que permite una flexibilidad y escalabilidad sin precedentes. Este nuevo producto se basa en el estándar de código abierto PostgreSQL, lo que asegura a los usuarios que pueden aprovechar su robusto ecosistema de herramientas y librerías sin preocuparse por el “vendor lock-in”.

Características y ventajas clave

• Arquitectura Desacoplada: Utiliza un data lake o un almacén de objetos como medio de almacenamiento primario. Para garantizar la baja latencia de las cargas de trabajo OLTP, implementa una capa de almacenamiento intermedia que funciona como un caché de escritura (write-through). Los datos se almacenan en formatos de páginas de PostgreSQL, lo que mantiene la compatibilidad y la apertura.

• Serverless y Escalable: Lakebase está disponible en una versión con escalado automático que permite que las bases de datos se inicien en menos de un segundo y ajusten dinámicamente sus recursos según la carga de trabajo. Esto significa que solo pagas por el tiempo de computación que realmente utilizas, optimizando los costos.

• Capacidad de Branching: Gracias a su arquitectura de “copia en escritura” (copy-on-write), los usuarios pueden crear una rama de su base de datos, incluyendo datos y esquemas, de manera instantánea. Esta funcionalidad es ideal para prácticas de desarrollo modernas y para los ingenieros que necesitan probar múltiples experimentos con agentes de IA sin afectar la base de datos principal.

• Integración Nativa con el Lakehouse: Lakebase está diseñado para trabajar en armonía con el Databricks lakehouse. Puede publicar tablas para análisis en tiempo real y, a su vez, consumir datos históricos del lakehouse a través de Unity Catalog. Esto crea un puente sin fisuras entre las cargas de trabajo transaccionales y las de análisis, permitiendo un flujo de datos más eficiente y unificado.

• Preparado para la Empresa: Como parte de la infraestructura de Databricks, Lakebase viene con características de seguridad, cumplimiento y gobernanza de grado empresarial, garantizando que los datos transaccionales estén protegidos y gobernados de manera consistente con el resto de la plataforma.

Conclusión

Lakebase no es simplemente otra base de datos, sino un pilar fundamental en la visión de Databricks de una plataforma de datos unificada. Al llevar la familiaridad y el poder de PostgreSQL al entorno del lakehouse.

Databricks ofrece una solución que no solo simplifica la arquitectura de datos, sino que también abre nuevas posibilidades para el desarrollo de aplicaciones y la innovación en IA, todo sobre una base abierta y escalable.

Recursos

• Lakebase en Databricks