Quel est l’article récent qui vous a le plus marqué ?

• "Overview of SHARD: A System for Highly Available Replicated Data" 1988
  • Premier article à avoir présenté le sharding de base de données, cité par d’innombrables travaux, mais "inexistant"
• "Integral Neural Networks"
• "Blue Is the New Black (Market): Privacy Leaks and Re-Victimization from Police-Auctioned Cellphones"
• "Latency Lags Bandwidth"
• "Liquid solution centrifugation for safe, scalable, and efficient isotope separation"
• "Co-cultivation enhanced microbial protein production based on autotrophic nitrogen-fixing hydrogen-oxidizing bacteria"
• "Enso: A Streaming Interface for NIC-Application Communication"
• "Search-Based Regular Expression Inference on a GPU"
• "Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm"
• "FP2: Fully in-Place Functional Programming"
• "Enabling tabular deep learning when d ≫ n with an auxiliary knowledge graph"
• "A Holistic Approach to Undesired Content Detection in the Real World"

[cosine20]

Les Integral Neural Networks sont vraiment impressionnants.
Le cœur du concept semble être la discrétisation de la distribution des poids : un peu comme en théorie de l’échantillonnage, il s’agirait de discrétiser une distribution de poids exprimée comme une fonction continue afin d’optimiser la quantité de calcul.
Quand on regarde les LLM récents, on voit aussi qu’on quantifie les modèles pour créer des modèles qui nécessitent moins de calculs pour des performances similaires ; cela me semble être une méthodologie comparable.

[xguru]

Le premier élément est un peu absurde, mais amusant.
Where is the original "Overview of SHARD" paper?

[cosine20]

En regardant les commentaires du lien, on voit que l’auteur lui-même a répondu récemment.
Comme il s’agissait d’un document interne à une entreprise / un institut de recherche, il n’y avait apparemment aucun moyen d’y accéder publiquement.

"I'm the Ronni Rosenberg. This was an internal CCA paper (not from academia or a published journal), from 35 years ago! I don't have a copy and I have no idea how to get it. Sorry about that. It does seem to be the earliest reference to data "sharding." (The other early reference mentioned in Wikipedia is from much later, 1997.)

Fortunately, you need not go back 35 years to read about sharding; it's easy to get current info. Cheers."

En réalité, ce genre de cas arrive assez souvent : même lorsqu’il est impossible de vérifier le contenu original, on ajoute quand même une citation afin de clarifier l’origine d’un concept spécifique ou d’un travail de recherche mentionné dans l’article. Du point de vue des autres chercheurs, il est nécessaire de vérifier si le sharding dont parle l’étude correspond bien au même sharding que celui auquel pensent les autres, ou s’il s’agit d’un concept différent proposé par quelqu’un d’autre sous le même nom, voire d’un concept qui n’existe pas réellement et auquel on a simplement donné le nom de sharding pour faire illusion.
Dans le deep learning aussi, il arrive souvent que des modèles de réseau portent le même nom tout en correspondant à des résultats de recherche différents.