Des données d'entraînement vérifiables
pour la prochaine génération de LLM
Verified Data for Frontier Models.
Fondée par des membres de laboratoires d'entraînement IA et des experts data issus des grands groupes tech, TokenDaddy répond aux besoins en données de la prochaine génération de LLM. Nous fournissons des corpus de pré-entraînement, des environnements RL et des données de renforcement post-entraînement, avec un seul critère de livraison : un gain réel et mesurable des capacités du modèle.
Pré-entraînement
Des corpus massifs, propres, conformes et bien équilibrés, socle des connaissances et du langage du modèle.
Environnements RL
Sandboxes exécutables, jeux de tâches et correcteurs automatiques pour que le modèle progresse sur des tâches réelles.
Données de post-entraînement
Démonstrations d'experts, comparaisons de préférences, grilles d'évaluation et problèmes vérifiables pour repousser les limites du raisonnement et de l'alignement.
Recherche en entraînement et ingénierie data,
une seule et même équipe
Le cœur de l'équipe TokenDaddy vient de laboratoires d'entraînement IA et des équipes data des grands acteurs de l'internet chinois. Nous savons quelles données font réellement progresser un modèle, et nous avons l'expérience d'ingénierie et d'opérations pour les livrer à grande échelle, de façon standardisée. Nous sommes là pour répondre aux besoins en données de l'entraînement des LLM de demain.
Issus des labos d'entraînement
Nos membres clés ont travaillé en première ligne sur l'entraînement de LLM : nous pensons les données du point de vue du modèle.
- Couverture de bout en bout : pré-entraînement, SFT, alignement par préférences et RL
- Compréhension de l'impact réel des données sur la loss, les évaluations et les capacités
- La valeur des données mesurée par ablations d'entraînement, pas par volume d'annotations
- Le même langage technique que les équipes de recherche de nos clients
Experts data Big Tech
Issus des équipes data des principaux groupes internet, avec une expérience de la production et de la gouvernance de données à grande échelle.
- Collecte, nettoyage et gouvernance de données à grande échelle
- Opérations d'annotation, gestion de réseaux d'experts et contrôle qualité multiniveau
- Sécurité des données, conformité vie privée et flux transfrontaliers
- Chaîne d'outils plateformisée pour des livraisons stables et reproductibles
Pensés pour le prochain paradigme d'entraînement
L'entraînement des LLM passe de « plus de données » à « de meilleures données et de meilleurs environnements ». Nous sommes construits pour cela.
- Investissement prioritaire dans les environnements RL, les trajectoires d'agents et les récompenses vérifiables
- Veille continue sur les méthodes d'entraînement de pointe pour anticiper les formats de données
- Recherche et production intégrées : des cycles plus courts de l'échantillon à la livraison
- Expertise native des données en chinois et des contextes locaux chinois
| Critère | Annotation traditionnelle | TokenDaddy |
|---|---|---|
| Critère de livraison | Volume annoté et précision sur échantillon | Gain mesurable sur les capacités cibles du modèle |
| Équipe | Chefs de projet + annotateurs crowdsourcés | Chercheurs en entraînement + ingénieurs data + experts métier |
| Preuve de qualité | Rapport d'échantillonnage | Métriques d'accord + résultats des vérificateurs + rapport de décontamination + ablations d'entraînement |
| Formats de données | Données annotées statiques | Corpus, environnements RL, trajectoires d'agents, problèmes vérifiables |
| Collaboration | Exécution sur cahier des charges | Spécifications et critères d'acceptation co-définis avec les équipes de recherche du client |
Des corpus massifs, traçables et bien équilibrés
De la collecte aux licences, du nettoyage au mélange et à la validation : des données prêtes à entrer dans votre pipeline d'entraînement. Chaque lot est livré avec la liste des sources, la chaîne de licences et un rapport qualité.
Nettoyage et raffinage de corpus web
Transformer des données brutes crawlées en texte d'entraînement de haute qualité.
- Extraction du contenu principal, détection de langue, normalisation du format
- Déduplication exacte + quasi-déduplication MinHash (document / paragraphe)
- Scoring par classifieur de qualité et filtrage par paliers
- Filtrage des contenus nuisibles, publicités et gabarits de faible qualité
Acquisition de corpus sous licence et chaîne de droits
Partenariats avec éditeurs, revues, médias et institutions spécialisées pour obtenir des textes à forte valeur, exploitables commercialement.
- Livres, articles académiques, actualités, rapports sectoriels
- Négociation des licences, contrats et gestion du périmètre d'usage
- Traçabilité de la source de chaque document, prête pour un audit de droits d'auteur
Anonymisation des données personnelles et sensibles
Supprimer ou remplacer avant l'entraînement toute information permettant d'identifier une personne, pour réduire le risque de non-conformité.
- Détection et remplacement des noms, téléphones, numéros d'identité, adresses et e-mails
- Règles dédiées au contexte chinois (carte d'identité, numéro de mobile, plaque d'immatriculation, etc.)
- Contrôle par échantillonnage et rapport de taux d'omission
Corpus multilingues et langues peu dotées
Renforcer les capacités au-delà de l'anglais, avec un accent sur les langues peu dotées.
- Corpus chinois de haute qualité (y compris chinois traditionnel et formes écrites dialectales)
- Langues peu dotées d'Asie du Sud-Est, d'Asie centrale, du Moyen-Orient, d'Afrique, etc.
- Corpus parallèles et paires de traduction
- Contrôle qualité par des locuteurs natifs
Corpus de code
Données de pré-entraînement pour les capacités de code, alliant qualité et conformité des licences.
- Collecte de dépôts open source et filtrage par licence
- Déduplication au niveau du dépôt, retrait du code autogénéré et des secrets
- Données liées code–documentation–issue
- Filtrage par compilabilité / exécutabilité
Corpus de domaines verticaux
Apporter aux modèles sectoriels une connaissance métier, avec des sources maîtrisées et une terminologie exacte.
- Finance, santé, droit, industrie manufacturière, énergie, etc.
- Structuration de réglementations, normes, manuels pédagogiques et documentations techniques
- Parsing haute précision de tableaux, formules, PDF / documents scannés
Données synthétiques
Là où les corpus réels manquent, des données générées par modèle et vérifiées prennent le relais.
- Réécriture façon manuel, conversion en questions-réponses et en exercices
- Assemblage de contextes longs et construction de tâches de recherche d'information
- Contrôle de la diversité et vérification des faits pour éviter l'auto-répétition du modèle
Données image-texte et documents
Des données image-texte bien alignées pour le pré-entraînement multimodal.
- Collecte de paires image-texte et filtrage par pertinence
- Documents image-texte entrelacés (pages web, manuels, notices)
- Annotation structurée de documents OCR, graphiques et tableaux
Mélange des données et vérification de décontamination
Nous ne fournissons pas seulement des données : nous vous aidons à confirmer qu'elles méritent d'entrer dans l'entraînement.
- Recommandations de mélange par domaine / langue / palier de qualité
- Décontamination n-gram contre les principaux benchmarks
- Ablations sur de petits modèles open source : métriques avant / après ajout des données
Des environnements exécutables, évaluables et résistants à la triche
Des environnements d'apprentissage par renforcement pour agents et modèles de raisonnement : sandboxes conteneurisées + jeux de tâches gradués + correcteurs automatiques. Reproductibles, parallélisables et enrichis en continu de nouvelles tâches.
Environnements de tâches sur dépôts de code
Correction de bugs, développement de fonctionnalités et refactoring sur de vrais dépôts.
- Tâches complètes issue → patch, avec tests exécutables
- Dépôts multi-langages et multi-frameworks, dépendances en images
- Double évaluation : tests cachés + tests de régression
Environnements web
Le modèle accomplit sur le web des tâches multi-étapes : recherche, formulaires, commandes, comparaison de prix.
- Répliques de sites réinitialisables, à état contrôlé
- E-commerce, voyages, services administratifs, back-offices d'entreprise, etc.
- Double évaluation : accomplissement de la tâche et conformité du processus
Environnements bureau et système d'exploitation
Tâches sur applications de bureau pour le computer use.
- Bureautique, gestion de fichiers, paramètres système
- Snapshots et réinitialisation de VM Windows / Linux
- Double observation : captures d'écran + arbre d'accessibilité
Environnements outils et API
Entraîner le modèle à choisir, combiner et appeler correctement les outils.
- Services back-end simulés et boîtes à outils MCP
- Orchestration multi-outils, gestion d'erreurs, scénarios de relance
- Évaluation de l'exactitude des paramètres et de l'ordre des appels
Environnements de processus métier
Transformer de vrais workflows en environnements entraînables pour les agents d'entreprise.
- CRM, ERP, tickets de support, notes de frais, processus HR
- Contextes propres à la Chine : WeCom, back-offices e-commerce, factures fiscales
- Processus multi-rôles avec permissions, validations et branches d'exception
Environnements de problèmes mathématiques et scientifiques (RLVR)
Des problèmes difficiles avec réponse de référence, évaluables par programme.
- Mathématiques, physique, chimie, problèmes de niveau compétition d'algorithmique
- Normalisation des réponses et tests d'équivalence (valeurs, expressions, ensembles)
- Niveaux de difficulté et calibration des taux de réussite
Conception de fonctions de récompense et de correcteurs
Les tâches sans réponse de référence ont, elles aussi, besoin d'un signal de récompense fiable.
- Développement de correcteurs programmatiques
- Évaluation combinée rubric + LLM juge, calibrée sur l'accord humain
- Préparation des données d'entraînement de modèles de récompense
Audit de reward hacking
Identifier les failles qui permettent au modèle d'obtenir la récompense en contournant l'objectif, et les corriger avant livraison.
- Tests adverses des correcteurs (modification des tests, réponses codées en dur, etc.)
- Revue par échantillonnage des trajectoires d'entraînement
- Correction des failles et tests de non-régression
Ingénierie et exploitation continue des environnements
Après livraison, les environnements restent stables et continuent de s'enrichir.
- Conteneurisation Docker, rollouts à haute concurrence
- Versionnage des tâches et ajustement de la courbe de difficulté
- Benchmarks sur mesure (strictement isolés des tâches d'entraînement)
Des données produites par des experts, revues par des experts, vérifiables
Produites par un réseau d'experts (docteurs, ingénieurs, médecins, avocats et autres professionnels), couvrant SFT, alignement par préférences, apprentissage par renforcement et évaluation de la sécurité.
Données de démonstration SFT
Des paires instruction–réponse de haute qualité qui fixent au modèle le standard d'une bonne réponse.
- Dialogues multi-tours, suivi d'instructions, contraintes de format complexes
- Rédaction longue, résumé, réécriture, traduction
- Ton et format adaptés au guide de style du client
Raisonnements d'experts
Des résolutions et cheminements de pensée complets, rédigés par des experts.
- Raisonnements pas à pas en mathématiques, sciences, programmation et logique
- Processus incluant essais-erreurs, auto-vérification et correction
- Annotation de l'exactitude à chaque étape (récompense de processus)
Données de préférences (RLHF / DPO)
Comparer et classer plusieurs réponses de modèles pour entraîner modèles de préférence et de récompense.
- Comparaisons par paires, classements multiples, notation Likert
- Notation par dimension : utilité, véracité, sécurité, etc.
- Justification de chaque note, pour faciliter l'audit et la réutilisation
Rédaction de rubrics et notation
Concevoir des critères d'évaluation applicables pour les tâches ouvertes, puis noter selon ces critères.
- Décomposition par tâche : critères, pondérations et conditions de pénalité
- Revue croisée des rubrics par des experts et tests d'applicabilité
- Notation critère par critère des sorties du modèle selon la rubric
Problèmes difficiles vérifiables (RLVR)
Des problèmes que les modèles de pointe ne savent pas encore résoudre, mais dont la réponse est vérifiable par programme.
- Problèmes originaux, du niveau master/doctorat au niveau compétition
- Avec réponse de référence ou cas de test
- Filtrage adverse par des modèles de pointe pour ne garder que les vrais problèmes difficiles
Trajectoires d'agents
Enregistrements complets d'experts accomplissant des tâches avec de vrais outils, dans de vrais environnements.
- Trajectoires en programmation, navigateur, bureau et systèmes métier
- Observation, réflexion, action et résultat à chaque étape
- Trajectoires d'échec et démonstrations de correction
Données d'experts métier
Des données spécialisées produites par des professionnels certifiés ou chevronnés.
- Médecine, droit, finance, comptabilité, ingénierie, recherche scientifique
- Questions-réponses expertes, études de cas, rédaction de documents professionnels
- Double revue croisée des faits clés par deux experts
Red teaming et données de sécurité
Détecter systématiquement les failles de sécurité du modèle et fournir les données pour les corriger.
- Échantillons d'attaque : jailbreak, manipulation, biais, fuite de données personnelles, etc.
- Démonstrations de la frontière entre refus sûr et réponse utile
- Jeux d'évaluation de conformité adaptés aux réglementations régionales
Données chinoises et localisées
Améliorer la compréhension du contexte chinois et des règles locales par le modèle.
- Styles d'écriture chinois, expressions idiomatiques et références classiques, argot internet
- Réglementation chinoise, normes sectorielles, démarches administratives
- Adaptation aux cultures et usages linguistiques de différentes régions
Évaluation humaine et benchmarks sur mesure
Quantifier, par l'évaluation d'experts, les progrès du modèle sur les capacités cibles.
- Comparaisons en aveugle entre versions du modèle
- Construction de benchmarks privés, protégés contre toute fuite
- Analyse des lacunes et recommandations de données pour le cycle suivant
Chaque lot livré avec ses preuves de qualité
La qualité est l'avantage décisif de TokenDaddy. Sept étapes, du besoin à la livraison, chacune laissant une trace auditable.
Cadrage
Définir les capacités cibles, les spécifications de données, la rubric et les critères d'acceptation.
Sélection
Recrutement par discipline, admission sur examen, évaluation et écrémage continus.
Production hybride
L'IA rédige, l'expert corrige : les jugements clés restent humains.
Revue multiniveau
Accord croisé, contrôle par des seniors, vérification indépendante des réponses.
Détection auto
Repérage des textes rédigés par IA, de la contamination des benchmarks, des doublons et du contenu gabarisé.
Ablations
Entraînement de petits modèles pour vérifier le gain apporté par les données.
Livraison conforme
Chaîne de licences des sources, anonymisation, évaluation transfrontalière, accords de confidentialité.
Pour les équipes modèles, à chaque stade
Des laboratoires de pointe aux équipes internes des entreprises, chaque stade de maturité appelle un mix de données différent.
| Type de client | Services clés | Besoin typique |
|---|---|---|
| Labos de pointe | Environnements RL · Problèmes vérifiables · Préférences · Red teaming | Repousser les limites du raisonnement et des capacités agentiques |
| Équipes open source / intermédiaires | Corpus de pré-entraînement · SFT · Préférences | Rattraper le meilleur niveau avec un budget limité |
| Modèles verticaux | Corpus verticaux · Données d'experts métier · Évaluation sur mesure | Expertise en finance, santé, droit et industrie |
| Startups agentiques | Environnements métier · Environnements d'appels d'outils · Trajectoires | Des agents fiables sur des tâches métier réelles |
| Équipes IA internes | Nettoyage de données privées · Anonymisation · Données de fine-tuning | Transformer les données internes en actifs entraînables |
Quatre modes de collaboration, combinables à la demande
Du projet sur mesure ponctuel à l'abonnement long terme, adapté à votre rythme d'entraînement et à votre structure budgétaire.
Projet sur mesure
Données produites de zéro selon vos spécifications, livrées en exclusivité.
À l'unité / à l'heureJeux de données prêts à l'emploi
Lots de corpus, banques de problèmes difficiles et benchmarks disponibles immédiatement.
Licence non exclusiveAbonnement environnements RL
Licence annuelle, avec ajout continu de nouvelles tâches et de correctifs.
Abonnement annuelExperts externalisés
Vous fournissez les outils et le processus, nous fournissons des experts sélectionnés.
Taux horaire majoréDéroulement
Échange initial
Clarifier capacités cibles, types de données, volumes et critères d'acceptation.
Échantillons
Livraison d'un petit lot d'échantillons pour aligner nos critères de qualité.
Pilote payant
Production à échelle intermédiaire, avec résultats d'ablation ou d'évaluation.
Passage à l'échelle
Livraisons mensuelles, suivi continu des métriques du modèle et ajustement de la direction.
Parlons de vos besoins en données
Décrivez vos capacités cibles et vos goulets d'étranglement actuels : sous une semaine, nous vous proposons un plan de données et un plan d'échantillons.