Utiliser SQLite comme format de fichier d’application

• Le fichier de base de données SQLite constitue un format monofichier adapté au stockage ou à l’échange de l’état d’une application
• Il est plus structuré que les formats personnalisés existants, les ensembles de fichiers (pile-of-files) et les formats basés sur ZIP, et peut être défini clairement via un schéma SQL
• Les transactions, les index et un langage de requête de haut niveau garantissent l’accessibilité et la fiabilité des données, avec prise en charge des mises à jour incrémentales et de l’accès multi-processus
• La compatibilité multiplateforme, l’extensibilité, les performances et les interfaces pour de nombreux langages améliorent l’efficacité du développement et la maintenabilité
• Une structure de données claire et une conception centrée sur le schéma permettent d’obtenir une meilleure qualité applicative et une meilleure pérennité des données

---

Concept de format de fichier d’application

• Un format de fichier d’application est une structure de fichier destinée à enregistrer l’état d’un programme sur disque ou à échanger des informations entre programmes
  • Exemples : DOC, DWG, PDF, XLS, GIT, EPUB, ODT, PPT, ODP, etc.
• Un format de fichier (file format) stocke un objet unique (ex. : JPEG, GIF, XHTML), tandis qu’un format d’application (application format) stocke plusieurs objets ainsi que leurs relations
• La plupart des formats d’application se classent en trois catégories
  • Format personnalisé : structure binaire propre à une application donnée, comme DOC, DWG ou PDF, inaccessible aux outils externes
  • Ensemble de fichiers (pile-of-files) : structure composée de plusieurs fichiers, comme Git ; certains sont faciles à lire, mais la portabilité et la cohérence sont plus difficiles à gérer
  • Format basé sur ZIP (wrapped pile-of-files) : un ensemble de fichiers compressé dans une archive ZIP, comme EPUB, ODT ou ODP ; c’est un fichier unique, mais toute modification impose une réécriture complète

SQLite comme nouveau format de fichier d’application

• Une base de données SQLite peut remplacer une structure en ensemble de fichiers, même avec un simple schéma clé/valeur (CREATE TABLE files(filename TEXT PRIMARY KEY, content BLOB);)
  • Une fois compressée, la différence de taille avec une archive ZIP reste dans une marge de ±1 %
  • Les modifications peuvent être faites fichier par fichier, sans nécessiter de réécrire l’ensemble
• SQLite peut contenir de nombreuses tables, colonnes, types de données, contraintes et index, ce qui permet de représenter efficacement des relations de données complexes
• Il offre une expressivité comparable à celle d’un format personnalisé, tout en étant bien plus concis en termes de spécification et de quantité de code, et accessible sans outil dédié

Principaux avantages du format SQLite

• 1. Simplification du développement

  • Il suffit d’inclure la bibliothèque SQLite ou le fichier source unique (sqlite3.c) pour disposer de toutes les fonctions d’entrée/sortie de fichier
  • Cela permet d’économiser des milliers de lignes de code et de réduire les coûts de maintenance
  • Des milliards de fichiers SQLite sont utilisés dans le monde, avec une fiabilité rigoureusement éprouvée

• 2. Structure documentaire monofichier

  • Toutes les données sont stockées dans un seul fichier, facile à déplacer, copier ou joindre
  • Le Application ID de l’en-tête du fichier permet d’identifier le type de document

• 3. Langage de requête de haut niveau

  • SQL permet de simplifier la logique d’accès aux données, le développeur n’ayant qu’à définir “ce qu’il veut”
  • Par rapport à un fichier clé/valeur, la prise en charge des transactions, des index et du schéma réduit les risques d’erreur

• 4. Contenu accessible

  • Un fichier SQLite est un format public clairement documenté, accessible directement via des outils en ligne de commande
  • Il est recommandé par la Bibliothèque du Congrès des États-Unis comme format de préservation numérique à long terme
  • La compatibilité descendante maintenue depuis 2004 garantit l’accessibilité dans la durée

• 5. Compatibilité multiplateforme

  • Compatibilité complète entre 32/64 bits, différences d’endianness, et environnements Windows/Unix
  • Les textes prennent en charge la conversion automatique entre UTF-8 et UTF-16LE/BE

• 6. Transactions atomiques

  • Même en cas d’erreur système ou de coupure de courant, l’écriture complète est garantie sans corruption des données
  • Les changements peuvent être regroupés pour permettre rollback et validation ; Fossil DVCS exploite cette fonctionnalité

• 7. Mises à jour incrémentales et continues

  • Seules les parties modifiées sont écrites sur disque, ce qui améliore la vitesse et réduit l’usure des SSD
  • Il est possible de conserver l’enregistrement automatique ainsi qu’une pile d’annulation/rétablissement entre les sessions

• 8. Extensibilité facile

  • L’ajout de nouvelles tables ou colonnes suffit pour étendre les fonctionnalités, tout en préservant la compatibilité des requêtes existantes
  • Les changements de structure sont bien plus simples qu’avec un format personnalisé

• 9. Performances

  • Les lectures/écritures peuvent être plus rapides qu’avec un ensemble de fichiers, notamment pour les BLOB de moins de 100 KB
  • L’ajout d’index ou l’exécution de ANALYZE peut améliorer les performances
  • Avec un format personnalisé, résoudre le même problème impose de modifier le code

• 10. Accès concurrent multi-processus

  • SQLite coordonne automatiquement les accès concurrents
  • Plusieurs processus peuvent lire simultanément, tandis que l’écriture est traitée séquentiellement
  • La prévention de la corruption du format est assurée automatiquement

• 11. Prise en charge de nombreux langages de programmation

  • Des interfaces existent pour la plupart des langages : C, C++, C#, Java, Python, Ruby, JavaScript, etc.
  • Plusieurs langages et équipes peuvent collaborer autour d’un schéma commun

• 12. Meilleure structure applicative

  • Le schéma SQLite lui-même sert de documentation complète du format de fichier
  • Là où un format personnalisé exige des centaines de pages de spécification, un schéma SQL reste concis et clair
  • Les citations de Fred Brooks, Rob Pike et Linus Torvalds soulignent l’importance d’une conception centrée sur les structures de données

Conclusion

• SQLite n’est pas parfait dans tous les cas, mais constitue dans la plupart des applications un meilleur choix que les formats personnalisés, les ensembles de fichiers ou les formats ZIP
• En tant que format de fichier de haut niveau réunissant fiabilité, extensibilité, performances, accessibilité et compatibilité,
  il mérite d’être envisagé comme candidat au format de fichier standard lors de la conception des applications de nouvelle génération

[GN⁺]

Avis Hacker News

• Chez Mapbox, ils avaient créé le format MBTiles il y a quelque temps
  À l’époque, ils travaillaient sur des cartes hors ligne pour iPad, et transférer une multitude de petites tuiles PNG (256 px) par USB ou via le réseau était vraiment pénible
  Ils ont donc regroupé les tuiles dans SQLite, ce qui a rendu le transport plus simple et la gestion des checksums plus facile
  Les tuiles étaient indexées par X, Y, Z (niveau de zoom), donc faciles à manipuler dans une base de données relationnelle, et sur iPad il était même possible d’associer une icône d’application via l’extension du fichier et les métadonnées
  Créer un format de fichier de zéro faisait peur, mais comme ils maîtrisaient déjà les bases de données, ils ont pu créer un outil CLI facile à utiliser depuis différents langages
  • Ils avaient comparé .zip, .tar, sqlite et le système de fichiers, et sqlite offrait le meilleur taux de compression avec le moins d’overhead
  • Ils adorent vraiment le format MBTiles, et remercient ceux qui l’ont créé
• SQLite est vraiment remarquable comme format d’application
  D’innombrables outils savent lire des données SQLite, et même avec le simple CLI, travailler les données est très pratique
  Il existe depuis plus de 20 ans et fait partie des logiciels les plus testés au monde
  Simple, puissant et très fiable, SQLite semble être le meilleur choix comme format de fichier pour la conservation des données à long terme
• J’utilise aussi SQLite d’une manière similaire
  Dans le projet Internet-Places-Database, j’avais utilisé une interface HTML, et grâce aux composants Bootstrap, tout le monde pouvait y accéder sans installation séparée
  Toutes les données sont lues et renvoyées depuis un seul fichier SQLite
  La base étant volumineuse, la navigation est lente, donc je réfléchis à une méthode d’exploration efficace pour limiter le périmètre de recherche
• J’avais utilisé SQLite autrefois en créant une application de blogging desktop
  Je préparais la structure de base du blog, puis je la transmettais sous forme de fichier à ma famille, qui n’avait plus qu’à écrire et publier
  Le sujet est résumé dans cet article de blog
• La plupart des formats de fichiers d’application reposent sur une structure en arbre, mais si les données sont sous forme de tables plates, SQLite est un choix évident
  Si la structure est arborescente, on peut aussi stocker du JSON comme blob, mais dans ce cas les avantages diminuent
  En revanche, s’il y a aussi des images ou des données binaires, SQLite est bien plus avantageux — et plus simple à manipuler que ZIP
  • Même sans être familier avec la normalisation des bases de données, il n’est pas difficile d’aplatir une structure arborescente en relations par clés étrangères
    SQLite prend aussi en charge les requêtes récursives, donc les données auto-référencées peuvent être exprimées proprement
    Mettre un blob JSON dans un champ TEXT est simple, mais on perd alors les avantages de SQL comme les migrations et l’indexation
  • L’essentiel du stockage relationnel, c’est de ne pas voir les données comme un seul document, mais de pouvoir les extraire selon différents points de vue
    La plupart des données paraissent hiérarchiques en surface, mais si on les découpe selon plusieurs sections, elles deviennent relationnelles
    C’est dommage que les types relationnels soient mal représentés dans les langages de programmation
  • J’avais besoin d’une interface pour annoter des données JSON, alors j’ai demandé à Codex de me créer un serveur web basé sur SQLite, et ça a été fait très vite
    SQLite prend aussi en charge les requêtes sur des objets de type JSON
    Cela dit, le CLI est tellement minimaliste que j’aurais probablement dû utiliser un meilleur outil
  • Dans SQLite, on peut créer plusieurs tables et définir des relations de référence entre elles
    Même les références récursives sont possibles
• Il y avait déjà eu une discussion à ce sujet — fil précédent
• J’ai appliqué une approche similaire à mon propre travail
  Avec DuckDB, j’ai regroupé les fichiers de sortie d’un modèle hiérarchique dans un seul fichier interrogeable en SQL, ce qui a simplifié les pipelines de stockage et d’analyse
  Quand la conservation des données à long terme est importante, SQLite semble particulièrement idéal
  • Je pense que les développeurs ont aussi créé Fossil SCM à partir de la même idée
• Notre équipe utilise SQLite pour transférer des configurations de l’environnement UAT vers la production
  Comme ces configurations sont déjà stockées dans des tables Postgres, il suffit d’en exporter une partie dans un fichier SQLite pour les déployer simplement
  Comme c’est un format binaire, cela réduit aussi le risque de modification accidentelle
  À l’inverse, quand on exporte des données de production pour des tests, on peut aussi les encoder facilement dans un fichier SQLite
• Je me souviens qu’enfant, j’ouvrais des jeux ou des programmes avec WinRAR pour chercher des ressources cachées
• Je suis complètement convaincu
  Je me suis toujours demandé comment certaines personnes savaient si bien vendre une idée ou un produit