Architecte de vos plateformes/produits et agitateur de séries temporelles

Data

• How Binance built a 100PB log service with Quickwit | Quickwit : Si vous avez des logs en quantité, il semblerait que Quickwit soit la solution
• Databricks, Snowflake and the future : une résumé des principales annonces des Summit de Databricks et de Snowdflake, ainsi qu’une mise en perspectie de leur positionnement respectifs.

Dev

• Review your own PRs : Exercice que je pratique sur mon propre code - si ça peut sembler fastidieux les premières fois, voir le code dans un autre contexte que son IDE favori permet de prendre du recul sur son code et de trouver pas mal de bugs ou de revoir l’architecture de son code. C’est d’ailleurs dans les critères d’admissibilité d’une MR chez nous - si le développeur n’a pas validé qu’il a relu sa MR dans Gitlab, alors je ne fais pas la revue.
• A Bunch of Programming Advice I’d Give To Myself 15 Years Ago : de bonnes pratiques de développement à s’appliquer ou à appliquer à son équipe.
• 2/6 | Exposing Malicious Extensions: Shocking Statistics from the VS Code Marketplace : vous allez regarder vos extensions VSCode différemment à partir de maintenant - le modèle se sécurité autour des extenions VSCode semble inexistant tant au niveau de la validation des extensions sur la marketplace que lors de leur exécution sur votre ordinateur 😱

IA

• AI’s $600B Question : Bulle ou pas bulle dans l’IA, telle est la question… et une tentarive de réponse.
• GDIY #397 - Yann Le Cun - Meta - L’Intelligence Artificielle Générale ne viendra pas de Chat GPT : un épisode passionnant et très instructif. Impressionné par le fait que Yann Le Cun reste super pédagogue et rend les choses accessibles.

Bonnes vacances à tous et on se retoruve fin septembre ! 🏖️

API

• Your API Shouldn’t Redirect HTTP to HTTPS : La redirection http > https est souvent vu comme un confort et une bonne pratique - mais finalement peut être pas tant que ça ?

Data

• Parquet & AI = 🙅‍♂️⛔️? : Rappel de ce qu’est le format parquet, ses limites et les nouveaux formats en cours d’élaboration (Lance & Nimble) pour les workloads IA (mais pas que ?)
• pg_lakehouse via Musings on Data Lakes and Kafka Connect: une extension Postgres pour manipuler vos fichiers Parquet/CSV/JSON/Avro stockés dans vos espaces de stockage objets (S3, etc)
• Announcing DuckDB 1.0.0 : Rien de nouveau hormis une étape importante du projet.
• Command Line Data Processing: Using DuckDB as a Unix Tool : Pas envie de faire du awk/sed/grep/…, alors faites le en duckdb 😏
• When and Why to Automate: A Data Engineer’s Perspective & Debugging Data Pipelines : hasard de publication mais une continuité logique : vous avez le quand, pourquoi et comment automatiser une tâche (data pipeline).

IoT

• Raspberry Pi AI Kit available now at $70 - Même le Raspberry Pi 5 succombe à l’IA… - Sortie d’un Kit Raspberry Pi AI à base de M2 HAT et de l’accélérateur AI Hailo 8L : Même le RPI se met à l’IA
• News from LoRaWAN Live Munich : Globalement, les déploiements s’intensifient et pour un usage princiapelemnt autour des mesures. Les fabricants comme STM ou Semtech proposent des cartes plus complètes et intégrées (SoC). Il y a des devices qui émergent pour des petits déploiements.

Python

• SqlAlchemy 1.4 async ORM with FastAPI : en 2022, nous avions utilisé cet article comme base pour les projets FastAPI. Il couvrait de bout en bout ce que l’on attendait : SQLAlechmy, Alembic (migrations), Async et Tests. Le petit plus est sur le pattern du Repository, fort utile pour avoir une abstraction au dessus de la base de données.
• Fast API — Repository Pattern and Service Layer : une version plus récente, rajoutant le concept de Service en plus de celui du Repository.
• FastCRUD : Un meta-package qui vous embarque tout pour générer dynamiquement vos endpoints d’API sur la base de vos modèles de données.
• FastHX, fastapi-htmx & Using HTMX with FastAPI : pour ceux qui veulent faire du FastAPI et du HTMX
• FastUI : un projet de l’équipe de Pydantic pour générer des interfaces web à partir de votre code Python.
• Summary of Major Changes Between Python Versions : Liste des principales évolutions et principaux apports d’une version majeure de Pytohn à une autre.
• Adopt-Ruff : un outil pour trouver les règles Ruff que votre projet ne respecte pas encore en vue de pouvoir les ajouer au fur et à mesure.
• Introduction to Polars : tout est dans le titre, une introduction à Polars.

Ops

• Caddy 2.8.x (dernière version: 2.8.4 : quelques fonctionnalités supplémentaires au niveau de HTTP/3 ou des certificats, mais surtout un gros travail de nettoyage et de rationnalisation de code (dépendances dépréciées / non maintenues, etc).
• Le projet Caddy-Docker-Proxy passe en version version 2.9.x en intégrant Caddy 2.8.

Time Series

• Announcing the Private Beta of SenX SaaS Platform : SenX lance son offre SaaS pour la suite Warp10 (Warp 10, Discovery,etc) et des fonctionnalités dédiées/avancées/améliorées des produits existants.

Web

• Queueing - An interactive study of queueing strategies : intéressant tant sur le fond que la forme sur la gestion des queues dans des requêtes HTTP et les différentes stratégies pouvant être mises en place.

Une édition un peu courte avec ce mois de Mai où j’étais plus ⛵️ que 👨‍💻

Cloud

• How an empty S3 bucket can make your AWS bill explode : Le tout c’est de le savoir… AWS facture les requêtes non authorisées à vos buckets S3 (code 4XX). Amazon a réagi : les codes d’erreurs http ne seront pas facturés s’ils ne proviennent pas de votre compte/organisation AWS.
• The AWS S3 Denial of Wallet Amplification Attack : dans la même veine, si on télécharge seulement une partie d’un fichier via la méthode RANGE, AWS facture le transfert de l’ensemble du fichier. Valable pour les buckets publics ou privés et s’applique surtout pour les gros fichiers (> 1Go)
• S3 Is Showing Its Age : S3 a beau être le standard de facto au moins en terme d’API, il a néanmoins quelques manques au regard de ces concurrents.
• FOCUS - The Unifying Specification for Cloud Billing Data : La FinOps Fondation est une émanation de la Linux Foundation. Elle vient de sortir la spécification FOCUS : FinOps Cost and Usage Specification (FOCUS™) dans l’objectif de pouvoir uniformiser et outiller une démarche FinOps.

Ops

• Traefik 3.0 GA Has Landed: Here’s How to Migrate - Traefik 3.0: Deep Dive Into Wasm Support With Coraza WAF Plugin - Monitor Your Production at a Glance With Traefik 3.0 and OpenTelemetry - Traefik 3.0 With SPIFFE, Tailscale, and HTTP/3 : Traefik V3.0 est sorti avec son lot de nouveautés et des billets dédiés à chaque nouvelle fonctionnalité sont proposés. La migration se fait sans peine 😌
• Benchmarking Quickwit vs. Loki : si vous ingérez des logs, vous avez surement entendu parler de Loki (édité par Grafana Labs) mais il y a aussi Quickwit. Ce benchmark réalisé par ces derniers montre les forces et faiblesses de chaque outil. En fonction de vos usages, il vous reste à choisir le plus adapté.

Data

• DuckDB as the new JQ : DuckDB pouvant lire des fichiers JSON, il était tentant pour certains de manipuler des fichiers JSON en SQL…

Database

• Redis Adopts Dual Source-Available Licensing | Redis - The race to replace Redis - Linux Foundation Launches Open Source Valkey Community : A compter de la version 7.4, Redis passe d’une version open source (licence BSD) à une double licence “Source Available” pour officiellement contrer les vilains méchants concurrents qui ne reversent pas à la communauté. Bizarrement, la “Common Clause” adoptée en 2018 pour les mêmes raisons n’a pas suffit. La réponse de la communauté ne s’est pas fait attendre avec la création du projet Valkey sous l’égide de la Linux Foundation. Si le passage d’un projet dans le giron d’une fondation peut rassurer ses utilisateurs et contributeurs sur la licence du projet, il n’en reste pas moins qu’il faut sécuriser les revenus de la société éditrice du projet. Cela pose aussi la question de notre attachement à l’Open Source - est-ce par philosophie ou par confort d’utilisation et la gratuité ? La fin de l’argent facile montre aussi les limites du financement des projets OSS via des VC ; certains ont fait évolué leur produit de façon plus subtile (ou pas) ou leur criticité est moindre pour ne pas provoquer une réaction comme pour Redis (Inc).
• Valkey 7.2.5 : Première version de Valkey, un Redis 7.2.4 nettoyé et avec quelques améliorations. Cela aura été rapide, mais avant de sauter le pas, il va falloir voir comment l’écosystème prend…

IA

• Ce que l’histoire du tracteur peut nous apprendre sur l’impact prévisible de l’IA : analogie entre l’adoption du tracteur et de l’IA - tant que le cout du tracteur est plus cher que les humains ou de leur quantité, le tracteur ne s’est pas développé. Dès qu’il y a eu pénurie de main d’oeuvre ou que le cout des tracteurs a baissé, son adoption s’est accélérée. En serat-t-il de même pour l’IA ?
• SXSW 2024 : face à l’IA, les entreprises en pleine gueule de bois & [Crash Tech] SXSW 2024 : surtout, don’t panic ! : retour sur le festival SXSW où les réflexions autour de l’IA sont nombreuses avec un petit coup de gueule de bois.

Infrastructure as Code

• HashiCorp joins IBM to accelerate multi-cloud automation : après le changement de licence en aout 2023, il semblait assez évident qu’HashiCorp cherchait à se faire racheter. IBM est donc l’heureux élu avec une valorisation d’HashiCorp à 6.4 Milliards de dollars. Après l’arrivée des projets OpenTofu (fork de Terraform) et OpenBao (fork de Vault) sous l’égide de la Linux Foundation, on pouvait se demander comment cela allait finir pour Hashicorp. Même si IBM contribue à l’open source, on aurait pu espérer meilleure maison pour HashiCorp. IBM n’est pas forcément perçu comme une zone d’innovation. Une piste qui pourrait néanmoins être intéressante avec cette acquisition et pour réconcilier la communauté, c’est que HashiCorp soit rattaché à Red Hat dans une division “Cloud & Automatisation / DevSecOps” au coté de projets comme Ansible par ex.

Sécurité

• backdoor in upstream xz/liblzma leading to ssh server compromise - Une backdoor bien critique découverte dans xz Utils / liblzma - XZ et liblzma: Faille de sécurité volontairement introduite depuis au moins deux mois - Who in the world is Jia Tan? : Au delà d’illustrer que toute l’infrastructure moderne dépend d’un petit projet maintenu par une seule et unique personne, l’arrivée de cette backdoor dans xz via les fichiers de tests est assez édifiante et digne d’un film d’espionnage tant cette opération semble préparée.
• New HTTP/2 DoS attack can crash web servers with a single connection - HTTP/2 CONTINUATION Flood : une vulnérabilité HTTP/2 fort symathique pour vos frontaux mais aussi par ex vos cluster kubernetes

Time Series

• SenX, recognized as a leader in Time Series data management. : SenX, éditeur de la plateforme Warp 10 est (enfin) reconnu comme leader dans le monde des séries temporelles. J’ai bien fait de miser sur Warp 10 tiens !
• Trace Plugin: the WarpScript Debugger is here! : SenX sort un plugin sous lience commerciale pour débugguer votre code WarpScript (mais pas que). Testable sur la sandbox

Code

• One Billion Rows Challenge in Golang : une version très détaillée des optimisations apportées pour réussir le défi du moment du “One Billion Row Challenge” en Go. Certaines sont évidentes, d’autres sont plus surprenantes ou moins évidentes.
• Modern Git Commands and Features You Should Be Using : bon, git switch, je l’avais déjà. Pour les autres…

Database

• Psycopg2 vs Psycopg3 Performance Benchmark : Passez à Psycopg3(+async) dans la plupart des cas. Et si ça vous suffit pas, asyncpg se disait globalement 5 fois plus rapide que psycopg3 en juin 2023.
• Ingester : un outil en CLI pour copier vos données d’une base vers une autre.

IA

• Mistral dans le giron de Microsoft : le défi du rattrapage européen dans l’IA reste ouvert et L’alliance entre Mistral et Microsoft met fin à l’illusion de l’indépendance technologique européenne : mise en perspective et bon résumé sur la situation Mistral / Europe / Microsoft - on en parle d’ailleurs avec Vincent dans l’épisode du BigDataHebdo : Episode 186 : plus jQuery que Terraform
• 25 recommandations pour l’IA en France.

Metadata

• DataContracts et DataContract CLI : si le sujet du DataContract m’a plutôt fait pensé à l’architecte d’entreprise qui urbanie son système d’information, en regardant de plus près, je me dis que dans le cadre d’un usage d’API, en complément du modèle fourni par OpenAPI/Swagger, cela pourrait donner une profondeur d’analyse aux API.

Organisation

• Context-switching - one of the worst productivity killers in the engineering industry : gestion du temps et des interruptions en tant que développeur / manager / manager de managers.
• Simplifying as much as possible is the way to go in the engineering industry : rendez-vous service et cherchez toujours la solution la plus simple pour répondre à un besoin métier. Fuyez la complexité. Mais garder un code simple ou répondre simplement à un besoin n’est pas toujours chose aisée.

Outillage

• Project Discovery - Open Source Tools : le Project Discovery, communauté autour du scan de vulnérabilité met un certain nombre d’outils à disposition. Cela peut être utile à des fins offensives/défensives mais aussi pour du debug.
• No Maintenance Intended : le badge qu’il vous faut aposer à vos projets si vous n’avez aucune intention de les maintenir.

Time Series

• Warp 10 3.2 : une version corrective et l’annonce de l’arrivée prochaine du Trace Plugin. Ce plugin doit aiser le debug de votre code WarpScript. Il sera soumis à licence et évaluable sur la Sandbox.

Web

• HTTP > Headers > Connection : vous voulez que votre serveur de destination ferme à coup sur la connection après vous avoir répondu dans le cadre d’un appel HTTP/1.1 ? Alors l’entête Connection: close est fait pour vous. La connection HTTP/1.1 est par défaut en mode keep-alive. Si vous avez des reverse proxy au milieu, cela peut éviter qu’il cherche à maintenir des connections ouvertes alors que cela n’a plus lieu d’être.
• HTMX via Django REST Framework and Vue versus Django and HTMX: Pour ceux qui veulent l’interactivité de Javascript, mais sans faire du Javascript