Taktile es un contribuyente top-k de duckdb-iceberg

Recientemente pasamos de pagar por el código abierto a contribuir a él. Nuestro trabajo más reciente está en duckdb-iceberg, la extensión de Apache Iceberg de DuckDB, donde aportamos un parche que abarata mucho las consultas top-k (ORDER BY … LIMIT k). Son justamente las consultas operativas que personas y agentes necesitan para obtener los datos más recientes de tablas Iceberg de gran tamaño.

play_circle

En el DuckDB Paris, organizado por Altertable, Tom sostuvo que duckdb-iceberg todavía tiene muchas oportunidades al alcance de la mano: optimizaciones a las que puede llegar cualquiera que esté dispuesto a meterse de lleno. Nuestro parche top-k reutiliza un hook del optimizador que el núcleo de DuckDB ya tenía. Si busca una forma de entrar a un proyecto de código abierto de alto impacto, este es un buen punto de partida.

¿Por qué contribuir? Todos ganan

Contribuir al código abierto es una ganancia para todos:

• Para usted. Un artefacto de código al que puede apuntar sin importar dónde trabaje.
• Para su empleador. Su empresa obtiene una mejor herramienta y un motivo de orgullo.
• Para la comunidad. Nadie más tiene que resolver el mismo problema otra vez.

Lo que hemos aportado hasta ahora

Pull requests integrados en duckdb-iceberg:

1. Order iceberg_scan and prune matching: para consultas ORDER BY … LIMIT k, ordena los archivos de datos según los límites de columna de cada archivo y omite los archivos que no pueden contener una fila top-k. Resuelve #746. Aportado por Tom Larkworthy.
2. Omitir archivos de datos totalmente nulos en comparaciones con constantes: WHERE col = 'x' ahora omite los archivos en los que col es siempre nula, sin romper las comparaciones seguras frente a nulos como IS NOT DISTINCT FROM. Aportado por Tom Larkworthy.
3. Corregir equality deletes que se filtraban entre particiones sin coincidencia: corrige un error de corrección en el que un equality delete se aplicaba a archivos de datos de otras particiones. Aportado por Jack Goldsworth.

También reportamos errores que los mantenedores corrigieron después: #940, #941 y #950 por Tom, y #660 por Ted Papathanasiou.

Gracias a los mantenedores de DuckDB, en especial a Tom Ebergen y Thijs, por sus revisiones minuciosas; a Sylvain Utard y a Altertable por organizar el meetup; a Algolia por ser anfitriona; y a todos los que se acercaron en París. ¡Nos vemos en el próximo!