CérénIT

Le blog tech de Nicolas Steinmetz (Time Series, IoT, Web, Ops, Data)

Web, Ops & Data - Janvier 2017

dockerarmhypriotapirestramlpythoncspkubernetessparkkafkastreamrancherjsonansibledevopselasticsearchpostgrestimezonepipvirtualenvsqlservice workerreactfoundation

Nouvelle année, nouveau format - au programme une édition mensuelle mixant brèves et des choses plus construites/élaborées (j'espère le mois prochain)

En Bref

API

ARM / RPi

  • Setup Kubernetes on a Raspberry Pi Cluster easily the official way! : Kubernetes, la solution d'orchestration de conteneurs, devient de plus en plus utilisable sur un enrionnement ARM (Raspberry, etc). Il faut que je réessaie ça sur mon Picocluster ; les derniers essais n'étaient pas très probant mais je n'avais pas utilisé apparemment le bon driver réseau (ie flannel et non pas weave pour ARM comme indiqué dans le billet).
  • HypriotOS 1.2 avec Docker 1.13 est également disponible pour vos RPi.

Big Data

  • Databricks and Apache Spark 2016 Year in Review : Databricks, l'éditeur de Spark, fait sa revue de l'année 2016 et des apports significatifs réalisés sur Spark : Support SQL, Structured Streaming, Spark 2.x.
  • Introduction to Kafka Streams with a Real-Life Example : l'auteur montre les limites de la combinaison Kafka+Spark (j'en ai vécu une partie) et propose son retour d'expérience sur la migration vers Kafka Streams (et conforte l'opinion que j'avais). Reste la problématique du monitoring de Kafka Streams à améliorer même si des solutions adhoc sont listées.
  • Towards a realtime streaming architecture : dans la continuité du billet précédent, retour d'expérience d'une entreprise passant de Spark+Kafka à Kafka, Kafka Streams, Kafka Connect et Akka pour faire du vrai streaming (et pas du micro-batch). Intéressant de voir qu'ils jugent Flink trop complexe pour le moment au regard de leurs besoins. Globalement, l'article montre le problème récurrent dans une architecture big data de la maitrise de l'ensemble des composants pour bien les faire fonctionner. Confluent, en apportant Kafka Streams et Kafka Connect autour de Kafka, semble avoir trouver le bon créneau combinant (une relative) simplicité technologique et performance.

CLI

Container & Orchrestration

DevOps

  • 10 astuces Ansible : revue de 10 bonnes pratiques concernant l'outil d'automatisation Ansible. Il me manquait la personnalisation du logger et de ansible.cfg

Elasticsearch

Opinions

  • Tools & Teams : au-delà du "Utiliser le bon outil pour la bonne tâche", c'est surtout d'utiliser les outils avec lesquelles une équipe est efficace à un instant donnée. La vision a long terme étant d'aller au-delà des outils vers les concepts afin d'avoir une compétence/expérience qui s'affranchit plus facilement des outils (qui ne sont pas éternels).

Postgres

  • Simple but handy postgresql features : Sympa le \watch ou jsonb_pretty pour respectivement surveiller le résultat d'une requête et affichrer proprement une donnée au format JSON.

Python

  • Records, SQL for Humans : comme tous les projets de Kenneth Reitz (requests, maya, etc), une API simple pour manipuler des données (ici des requêtes SQL)
  • pytz : World Timezone Definitions for Python - permet de faire des calculs sur les dates, la librairie gérerait également les heures d'été/d'hiver dans les calculs.
  • Announcing Pipenv! : Vous réviez d'un outil combinant pip et virtualenv et avec des options supplémentaires, Kenneth Reitz l'a fait durant un week-end...

Sécurité

  • Web Security 101 : présentation des principaux concepts, des cas d'exemples et des moyens de se prémunir.
  • Introducing support for Content Security Policy Level 2 : Microsoft Edge se dote du support de niveau 2 de Content Security Policy (CSP) afin de permettre au propriétaire d'un site de mieux protéger ses clients en déclarant les ressources autorisées ou pas.
  • Github's Post CSP Journey : retour des équipes de Github sur l'implémentation de CSP et les points encore à adresser (spoiler : non, CSP n'est pas l'arme ultime). Ces points sont peut être des cas marginaux pour des sites classiques mais pas pour Github. Intéressant à lire.

Web

Web, Ops & Data - Semaine 51

dockerkuberneteselasticsearchtickchronografpythondateansibleredishypriotarm

Plateform TICK

  • Beta 3 of Chronograf : Chronograf 1.1 continue son bonhomme de chemin avec la parution d'une bêta 3 apportant son lot d'améliorations et de correctifs.

Container & Orchestration

  • Kubernetes 1.5: Supporting Production Workloads : Kubernetes, dans cette version 1.5, apporte des améliorations notamment sur la gestion des applications statefull (passage d'un statut alpha à beta) et plein de choses en alpha : le support des containers windows, la fédération de cluster kubernetes, la haute disponibilité, etc.
  • containerd – a core container runtime project for the industry : Docker Inc continue de modulariser Docker (Engine) en publiant "containerd" et en prévoyant de le donner à une fondation en début d'année prochaine. Containerd est la partie centrale d'exécution du container. Il a été déployé silencieusement depuis Docker 1.11. L'idée de containerd serait de devenir le "format" universel pour faire tourner des containers sur lequel tout le monde s'appuierait... A suivre dans la guerre des containers et des initiatives de standardisation (ou pas).
  • An Early Look at Ansible Container v0.3.0 : Ansible 2.x permet déjà d'interagir avec les containers docker, ansible-container permet d'aller plus loin dans la gestion des containers avec ansible. Cette version apportera le support du format docker-compose v2 et le support de docker 1.12. Même si je suis parvenu à piloter des containers docker avec Ansible 2.2, j'avoue qu'il y a quelques bugs pénibles et j'ai pas forcément l'impression que ce soit la bonne façon de faire. Peut⁻être que ce module apportera des réponses ou qu'il faut repenser la chose différemment.
  • Making Elasticsearch in Docker Swarm Elastic : Un billet intéressant sur le déploiement d'Elaticsearch dans un contexte Docker Swarm. En effet, la partie pénible est de gérer la découverte par IP des noeuds et de rendre cela accessible de l'extérieur du cluster. Le billet présente des astuces pour le faire. J'aurais bien aimé l'avoir il y a de cela 6 mois à 1 an...

NoSQL

ARM

  • Hypriot OS 1.1.2 : vos raspberry pi vont être gatés avec les dernières versions de Docker, Docker-Compose et Docker-Machine. Je détaillerai en janvier la mise en place d'un cluster docker avec Hypriot OS avec 5 Raspberry et 2 Cubietruck qui permettent d'avoir un stockage distribué/résilient avec GlusterFS.

Python

Bonnes fêtes de fin d'année à tous !

1 / 1