Utiliser SQLite comme format de fichier d’application

• Le fichier de base de données SQLite constitue un format monofichier adapté au stockage ou à l’échange de l’état d’une application
• Il est plus structuré que les formats personnalisés existants, les ensembles de fichiers (pile-of-files) et les formats basés sur ZIP, et peut être défini clairement via un schéma SQL
• Les transactions, les index et un langage de requête de haut niveau garantissent l’accessibilité et la fiabilité des données, avec prise en charge des mises à jour incrémentales et de l’accès multi-processus
• La compatibilité multiplateforme, l’extensibilité, les performances et les interfaces pour de nombreux langages améliorent l’efficacité du développement et la maintenabilité
• Une structure de données claire et une conception centrée sur le schéma permettent d’obtenir une meilleure qualité applicative et une meilleure pérennité des données

---

Concept de format de fichier d’application

• Un format de fichier d’application est une structure de fichier destinée à enregistrer l’état d’un programme sur disque ou à échanger des informations entre programmes
  • Exemples : DOC, DWG, PDF, XLS, GIT, EPUB, ODT, PPT, ODP, etc.
• Un format de fichier (file format) stocke un objet unique (ex. : JPEG, GIF, XHTML), tandis qu’un format d’application (application format) stocke plusieurs objets ainsi que leurs relations
• La plupart des formats d’application se classent en trois catégories
  • Format personnalisé : structure binaire propre à une application donnée, comme DOC, DWG ou PDF, inaccessible aux outils externes
  • Ensemble de fichiers (pile-of-files) : structure composée de plusieurs fichiers, comme Git ; certains sont faciles à lire, mais la portabilité et la cohérence sont plus difficiles à gérer
  • Format basé sur ZIP (wrapped pile-of-files) : un ensemble de fichiers compressé dans une archive ZIP, comme EPUB, ODT ou ODP ; c’est un fichier unique, mais toute modification impose une réécriture complète

SQLite comme nouveau format de fichier d’application

• Une base de données SQLite peut remplacer une structure en ensemble de fichiers, même avec un simple schéma clé/valeur (CREATE TABLE files(filename TEXT PRIMARY KEY, content BLOB);)
  • Une fois compressée, la différence de taille avec une archive ZIP reste dans une marge de ±1 %
  • Les modifications peuvent être faites fichier par fichier, sans nécessiter de réécrire l’ensemble
• SQLite peut contenir de nombreuses tables, colonnes, types de données, contraintes et index, ce qui permet de représenter efficacement des relations de données complexes
• Il offre une expressivité comparable à celle d’un format personnalisé, tout en étant bien plus concis en termes de spécification et de quantité de code, et accessible sans outil dédié

Principaux avantages du format SQLite

• 1. Simplification du développement

  • Il suffit d’inclure la bibliothèque SQLite ou le fichier source unique (sqlite3.c) pour disposer de toutes les fonctions d’entrée/sortie de fichier
  • Cela permet d’économiser des milliers de lignes de code et de réduire les coûts de maintenance
  • Des milliards de fichiers SQLite sont utilisés dans le monde, avec une fiabilité rigoureusement éprouvée

• 2. Structure documentaire monofichier

  • Toutes les données sont stockées dans un seul fichier, facile à déplacer, copier ou joindre
  • Le Application ID de l’en-tête du fichier permet d’identifier le type de document

• 3. Langage de requête de haut niveau

  • SQL permet de simplifier la logique d’accès aux données, le développeur n’ayant qu’à définir “ce qu’il veut”
  • Par rapport à un fichier clé/valeur, la prise en charge des transactions, des index et du schéma réduit les risques d’erreur

• 4. Contenu accessible

  • Un fichier SQLite est un format public clairement documenté, accessible directement via des outils en ligne de commande
  • Il est recommandé par la Bibliothèque du Congrès des États-Unis comme format de préservation numérique à long terme
  • La compatibilité descendante maintenue depuis 2004 garantit l’accessibilité dans la durée

• 5. Compatibilité multiplateforme

  • Compatibilité complète entre 32/64 bits, différences d’endianness, et environnements Windows/Unix
  • Les textes prennent en charge la conversion automatique entre UTF-8 et UTF-16LE/BE

• 6. Transactions atomiques

  • Même en cas d’erreur système ou de coupure de courant, l’écriture complète est garantie sans corruption des données
  • Les changements peuvent être regroupés pour permettre rollback et validation ; Fossil DVCS exploite cette fonctionnalité

• 7. Mises à jour incrémentales et continues

  • Seules les parties modifiées sont écrites sur disque, ce qui améliore la vitesse et réduit l’usure des SSD
  • Il est possible de conserver l’enregistrement automatique ainsi qu’une pile d’annulation/rétablissement entre les sessions

• 8. Extensibilité facile

  • L’ajout de nouvelles tables ou colonnes suffit pour étendre les fonctionnalités, tout en préservant la compatibilité des requêtes existantes
  • Les changements de structure sont bien plus simples qu’avec un format personnalisé

• 9. Performances

  • Les lectures/écritures peuvent être plus rapides qu’avec un ensemble de fichiers, notamment pour les BLOB de moins de 100 KB
  • L’ajout d’index ou l’exécution de ANALYZE peut améliorer les performances
  • Avec un format personnalisé, résoudre le même problème impose de modifier le code

• 10. Accès concurrent multi-processus

  • SQLite coordonne automatiquement les accès concurrents
  • Plusieurs processus peuvent lire simultanément, tandis que l’écriture est traitée séquentiellement
  • La prévention de la corruption du format est assurée automatiquement

• 11. Prise en charge de nombreux langages de programmation

  • Des interfaces existent pour la plupart des langages : C, C++, C#, Java, Python, Ruby, JavaScript, etc.
  • Plusieurs langages et équipes peuvent collaborer autour d’un schéma commun

• 12. Meilleure structure applicative

  • Le schéma SQLite lui-même sert de documentation complète du format de fichier
  • Là où un format personnalisé exige des centaines de pages de spécification, un schéma SQL reste concis et clair
  • Les citations de Fred Brooks, Rob Pike et Linus Torvalds soulignent l’importance d’une conception centrée sur les structures de données

Conclusion

• SQLite n’est pas parfait dans tous les cas, mais constitue dans la plupart des applications un meilleur choix que les formats personnalisés, les ensembles de fichiers ou les formats ZIP
• En tant que format de fichier de haut niveau réunissant fiabilité, extensibilité, performances, accessibilité et compatibilité,
  il mérite d’être envisagé comme candidat au format de fichier standard lors de la conception des applications de nouvelle génération