Nemo - la plateforme de découverte de données de Facebook

 (engineering.fb.com)
9 points par xguru 2020-10-14 | 1 commentaires | Partager sur WhatsApp
  • Les grandes organisations construisent séparément en interne des moteurs de recherche de données et de métadonnées

→ Netflix (Metacat), Lyft (Amundsen), LinkedIn (DataHub), Uber (Databook)

→ Une plateforme qui facilite la réutilisation en permettant de rechercher des métadonnées, comme quelles données ont été recherchées/créées, par qui et quand

  • Intègre Hive, Scuba, Cubrick, plusieurs tableaux de bord et des jeux de données pour l'IA

  • Utilise Unicorn, employé pour la recherche dans le graphe social

  • Requêtes en langage naturel possibles avec spaCy : "Combien y a-t-il de WAU (utilisateurs actifs hebdomadaires) sur Instagram ?"

À lire aussi

1 commentaires

 
xguru 2020-10-14

Nemo n’a pas été publié en open source, tandis que les outils d’autres entreprises l’ont été.

Lyft - Amundsen https://github.com/amundsen-io/amundsen

Netflix - Metacat https://github.com/Netflix/metacat

LinkedIn - DataHub https://github.com/linkedin/datahub