Taktile, contributeur top-k de duckdb-iceberg

Récemment, nous sommes passés du statut de payeur à celui de contributeur de l’open source. Notre dernier travail porte sur duckdb-iceberg, l’extension Apache Iceberg de DuckDB, à laquelle nous avons apporté un correctif qui rend les requêtes top-k (ORDER BY … LIMIT k) beaucoup moins coûteuses. Ce sont précisément les requêtes opérationnelles dont les humains et les agents ont besoin pour obtenir les données les plus récentes de grandes tables Iceberg.

play_circle

Lors du DuckDB Paris, organisé par Altertable, Tom a soutenu que duckdb-iceberg offre encore de nombreuses améliorations faciles à saisir : des optimisations à la portée de quiconque veut s’y plonger. Notre correctif top-k réutilise un point d’extension de l’optimiseur que le cœur de DuckDB possédait déjà. Si vous cherchez une porte d’entrée vers un projet open source à fort impact, c’est un bon point de départ.

Pourquoi contribuer ? Tout le monde y gagne

Contribuer à l’open source profite à tout le monde :

• Pour vous. Une réalisation concrète en code que vous pouvez citer, où que vous travailliez.
• Pour votre employeur. Votre entreprise obtient un meilleur outil et une belle vitrine.
• Pour la communauté. Personne d’autre n’a à résoudre à nouveau le même problème.

Nos contributions à ce jour

Pull requests fusionnées dans duckdb-iceberg :

1. Trier iceberg_scan et élaguer les correspondances : pour les requêtes ORDER BY … LIMIT k, trie les fichiers de données selon les bornes de colonnes de chaque fichier et ignore les fichiers qui ne peuvent pas contenir de ligne top-k. Résout #746. Contribution de Tom Larkworthy.
2. Ignorer les fichiers de données entièrement nuls pour les comparaisons constantes : WHERE col = 'x' ignore désormais les fichiers où col est toujours nul, sans casser les comparaisons null-safe telles que IS NOT DISTINCT FROM. Contribution de Tom Larkworthy.
3. Corriger la fuite des suppressions par égalité vers des partitions non correspondantes : corrige un bug de justesse où une suppression par égalité était appliquée à des fichiers de données d’autres partitions. Contribution de Jack Goldsworth.

Nous avons également signalé des bugs que les mainteneurs ont ensuite corrigés : #940, #941 et #950 par Tom, et #660 par Ted Papathanasiou.

Merci aux mainteneurs de DuckDB, en particulier Tom Ebergen et Thijs, pour leurs relectures minutieuses ; à Sylvain Utard et à Altertable pour l’organisation du meetup ; à Algolia pour l’accueil ; et à tous ceux qui se sont déplacés à Paris. Rendez-vous au prochain !