次世代の大規模モデルに、
検証可能な学習データを
Verified Data for Frontier Models.
TokenDaddyは、AI学習ラボの出身者と大手IT企業のデータ専門家が共同で立ち上げたチームです。次世代の大規模モデル学習に求められるデータ課題を解決するために生まれました。事前学習コーパス、RL環境、事後学習向けの強化データを提供し、モデル能力の実際の向上を納品基準としています。
学習研究とデータエンジニアリングを、
ひとつのチームで
TokenDaddyのコアメンバーは、AI学習ラボと中国のトップクラスIT企業のデータチーム出身です。どのデータが本当にモデル能力を押し上げるのかを理解し、それを大規模かつ標準化された形で納品するエンジニアリングと運用の経験を兼ね備えています。次世代の大規模モデル学習に求められるデータ課題を解決するために生まれました。
学習ラボ出身
コアメンバーは大規模モデル学習の最前線に携わってきた経験を持ち、モデルの視点からデータを定義します。
- 事前学習、SFT、選好アラインメント、強化学習の全工程をカバー
- データがloss、評価、能力に与える実際の影響を理解
- データの価値をアノテーション件数ではなく学習アブレーションで測定
- 顧客の研究チームと同じ技術言語でコミュニケーション
大手IT企業のデータ専門家
トップクラスのIT企業のデータチーム出身で、大規模なデータ生産とガバナンスの経験を持ちます。
- 大規模なデータ収集・クレンジング・ガバナンス体制の構築
- アノテーション運用、専門家ネットワーク管理、多層的な品質検査
- データセキュリティ、プライバシーコンプライアンス、越境データ手続き
- プラットフォーム化したツールチェーンで、安定かつ再現可能な納品を保証
次世代の学習パラダイムへ
大規模モデルの学習は「より多くのデータ」から「より良いデータと環境」へと移りつつあります。私たちはそのために生まれました。
- RL環境、エージェント軌跡、検証可能な報酬に重点投資
- 最先端の学習手法を継続的に追い、データ形態を先回りして準備
- 研究と生産が一体となり、サンプルから納品までのサイクルを短縮
- 中国語と中国ローカル領域のデータにネイティブ対応
| 観点 | 従来のデータアノテーション | TokenDaddy |
|---|---|---|
| 納品基準 | アノテーション件数と抜き取り精度 | 目標能力の測定可能な向上 |
| チーム構成 | PM + クラウドソーシング作業者 | 学習研究者 + データエンジニア + 領域専門家 |
| 品質の証明 | 抜き取り検査レポート | 一致率指標 + 検証器結果 + 汚染除去レポート + 学習アブレーション |
| データ形態 | 静的なアノテーションデータ | コーパス、RL環境、エージェント軌跡、検証可能な難問 |
| 協業スタイル | 発注書どおりに実行 | 顧客の研究チームとデータ仕様と受入指標を共同で定義 |
大規模で、追跡可能で、適切に配合されたコーパス
収集、権利処理、クレンジングから配合・検証まで、そのまま学習パイプラインに投入できるデータを納品します。各データパッケージには出典リスト、権利チェーン、品質レポートが付属します。
Webコーパスのクレンジングと精製
生のクロールデータを高品質な学習テキストへと加工します。
- 本文抽出、言語判定、フォーマット正規化
- 完全一致の重複除去 + MinHashによる近似重複除去（文書単位 / 段落単位）
- 品質分類器によるスコアリングと段階別フィルタリング
- 有害コンテンツ、広告、低品質テンプレートの除去
ライセンスコーパスの調達と権利チェーン
出版社、学術誌、メディア、専門機関と連携し、商用利用可能な高価値テキストを確保します。
- 書籍、学術論文、ニュース、業界レポート
- ライセンス交渉、契約、利用範囲の管理
- 1件ごとの出典記録で、著作権審査にも対応可能
個人情報・機微情報の匿名化
学習前に個人を特定できる情報を削除または置換し、コンプライアンスリスクを低減します。
- 氏名、電話番号、身分証番号、住所、メールアドレスの検出と置換
- 中国語特有のルール（身分証、携帯番号、ナンバープレートなど）
- 匿名化の抜き取り検査と見逃し率レポート
多言語・希少言語コーパス
英語以外の言語能力を補強し、特にリソースの乏しい言語を重点的にカバーします。
- 高品質な中国語コーパス（繁体字、方言の書き言葉を含む）
- 東南アジア、中央アジア、中東、アフリカなどの希少言語
- パラレルコーパスと翻訳ペア
- ネイティブ話者による品質抜き取り検査
コードコーパス
コーディング能力向けの事前学習データ。品質とライセンス遵守を両立します。
- オープンソースリポジトリの収集とライセンスフィルタリング
- リポジトリ単位の重複除去、自動生成コードと秘密鍵の除去
- コード–ドキュメント–issueの関連データ
- コンパイル可能 / 実行可能性によるフィルタリング
業界特化コーパス
業界特化モデルにドメイン知識を補います。出典を管理でき、用語も正確です。
- 金融、医療、法律、製造業、エネルギーなど
- 法規、規格、教材、技術マニュアルの構造化処理
- 表、数式、PDF / スキャン文書の高精度解析
合成データ
実データが不足する領域を、モデルで生成し検証を経たデータで補います。
- 教科書風リライト、QA化、演習問題化
- 長文脈の連結と検索型タスクの構築
- 多様性制御と事実検証で、モデルの自己反復を防止
画像・テキストおよび文書データ
マルチモーダル事前学習向けに、整合性の高い画像・テキストデータを準備します。
- 画像・テキストペアの収集と関連性フィルタリング
- 画像とテキストが交互に並ぶ文書（Webページ、教材、取扱説明書）
- OCR文書、図表、表の構造化アノテーション
データ配合と汚染除去の検証
データを提供するだけでなく、そのデータが学習に投入する価値があるかを確認します。
- ドメイン / 言語 / 品質段階ごとの配合提案
- 主要評価セットとのn-gram汚染チェック
- オープンソース小型モデルでのアブレーション学習により、投入前後の指標を比較
実行でき、採点でき、不正に強い学習環境
エージェントと推論モデルのための強化学習環境を構築します。コンテナ化されたサンドボックス + 難易度別タスクセット + 自動採点器。環境は再現・並列実行が可能で、新しいタスクを継続的に追加します。
コードリポジトリのタスク環境
実在するリポジトリをもとにしたバグ修正、機能開発、リファクタリングのタスク。
- issue → パッチまでの完全なタスク、実行可能なテスト付き
- 多言語・多フレームワークのリポジトリ、依存関係はイメージ化
- 隠しテスト + 回帰テストによる二重採点
Web操作環境
Webページ上で検索、フォーム入力、注文、価格比較などのマルチステップタスクをモデルに実行させます。
- リセット可能なサイトミラー、状態を制御可能
- EC、旅行、行政サービス、企業管理画面などのシナリオ
- タスク達成度とプロセス適合性の二重採点
デスクトップ・OS環境
computer use向けのデスクトップアプリ操作タスク。
- オフィスソフト、ファイル管理、システム設定
- Windows / Linux 仮想マシンのスナップショットとリセット
- スクリーンショット + アクセシビリティツリーの二重観測
ツール・API環境
ツールを正しく選択・組み合わせ・呼び出せるようモデルを学習させます。
- 模擬バックエンドサービスとMCPツールセット
- 複数ツールのオーケストレーション、エラー処理、リトライのシナリオ
- パラメータの正確性と呼び出し順序で採点
業務プロセス環境
実際のワークフローを学習可能な環境として構築し、企業向けエージェントに活用します。
- CRM、ERP、カスタマーサポートチケット、経費精算、HRプロセス
- 中国ローカルのシナリオ：WeCom（企業微信）、EC管理画面、税務・発票
- 権限、承認、例外分岐を含むマルチロールのプロセス
数理推論問題バンク環境（RLVR）
標準解答があり、プログラムで採点できる高難度問題の環境。
- 数学、物理、化学、アルゴリズムコンテスト級の問題
- 解答の正規化と等価判定（数値、数式、集合）
- 難易度分類と合格率のキャリブレーション
報酬関数と採点器の構築
標準解答のないタスクにも、信頼できる報酬シグナルが必要です。
- プログラムによる採点器の開発
- rubric + LLM審査の組み合わせ採点、人手で一致性をキャリブレーション
- 報酬モデル用学習データの準備
Reward hacking監査
モデルがタスク目標を回避して報酬を得る抜け穴を特定し、納品前に修正します。
- 採点器への敵対的テスト（テスト改ざん、解答のハードコードなど）
- 学習軌跡のサンプリング審査
- 脆弱性の修正と回帰検証
環境エンジニアリングと継続運用
納品後も環境を安定稼働させ、継続的に拡充します。
- Dockerによるコンテナ化、高並列rolloutに対応
- タスクのバージョン管理と難易度カーブの調整
- カスタム評価ベンチマーク（学習タスクと厳密に分離）
専門家が作り、専門家が審査する、検証可能なデータ
博士、エンジニア、医師、弁護士などの実務家からなる専門家ネットワークが生産し、SFT、選好アラインメント、強化学習、安全性評価の各工程をカバーします。
SFTデモンストレーションデータ
高品質な指示–応答ペアで、モデルに優れた回答の型を確立します。
- マルチターン対話、指示追従、複雑なフォーマット制約
- 長文執筆、要約、リライト、翻訳
- 顧客のスタイルガイドに合わせてトーンと形式をカスタマイズ
専門家の推論プロセスデータ
専門家が書き下ろす、完全な解答過程と思考プロセス。
- 数学、科学、プログラミング、論理の段階的な導出
- 試行錯誤、自己チェック、誤り訂正を含むプロセス
- ステップ単位の正誤アノテーション（プロセス報酬）
選好比較データ（RLHF / DPO）
複数のモデル回答を比較・ランク付けし、選好モデルと報酬モデルを学習させます。
- ペア比較、複数候補のランキング、Likertスコアリング
- 有用性、真実性、安全性などの観点別スコアリング
- 評価理由を付記し、審査と再利用を容易に
Rubricの作成と採点
オープンエンドなタスクに実行可能な評価基準を定め、それに沿って採点します。
- タスクごとに評価項目、重み、減点条件を分解
- rubricの専門家相互レビューと判定可能性テスト
- rubricに沿ったモデル出力の項目別採点
検証可能な難問（RLVR）
最先端モデルでもまだ解けないが、答えをプログラムで検証できる問題。
- 大学院レベルからコンテスト級までのオリジナル問題
- 標準解答またはテストケース付き
- 最先端モデルで敵対的に選別し、本当の難問だけを残す
エージェント軌跡データ
専門家が実際のツールと環境でタスクを完遂した、完全な操作記録。
- プログラミング、ブラウザ、デスクトップ、業務システムの操作軌跡
- 各ステップの観察、思考、行動、結果
- 失敗軌跡と誤り訂正のデモンストレーション
領域専門家データ
有資格者やベテラン実務家が生産する専門領域データ。
- 医学、法律、金融、会計、工学、科学研究
- 専門的なQA、事例分析、文書作成
- 2名の専門家による重要事実のクロスレビュー
レッドチーミング・安全性データ
モデルの安全面の弱点を体系的に洗い出し、是正データを提供します。
- ジェイルブレイク、誘導、バイアス、プライバシー漏洩などの攻撃サンプル
- 安全な拒否と有益な回答の境界を示すデモンストレーション
- 地域の法規に合わせたコンプライアンス評価セット
中国語・ローカライズデータ
中国語の文脈と現地ルールに対するモデルの理解を高めます。
- 中国語の文体、成語・故事、ネットスラング
- 中国の法規、業界規範、行政手続きの知識
- 地域ごとの文化と言語習慣への適応
人手評価とカスタム評価セット
専門家による評価で、目標能力におけるモデルの進捗を定量化します。
- モデルバージョン間のブラインド比較評価
- プライベート評価セットの構築、漏洩を厳格に防止
- 能力の弱点分析と次ラウンドのデータ提案
すべてのデータに品質のエビデンスを
品質はTokenDaddyの中核的な競争力です。要件定義から納品までの7つの工程すべてで、監査可能な記録を残します。
要件分解
目標能力、データ仕様、rubric、受入指標を定義します。
専門家選抜
分野ごとに募集し、試験で選抜。継続的に評価し入れ替えます。
人とAIの協働生産
AIが下書きし、専門家が修正。重要な判断は人が行います。
多層レビュー
クロス一致性チェック、シニアによる抜き取り、解答の独立検証。
自動検出
AI代筆、評価データ汚染、重複、テンプレート化を検出します。
学習アブレーション
小型モデルで学習し、データによる指標向上を検証します。
適法な納品
出典の権利チェーン、匿名化、越境移転評価、秘密保持契約。
あらゆるフェーズのモデルチームを支援
最先端モデルラボから企業の内製チームまで、フェーズの異なるモデルチームには異なるデータの組み合わせが必要です。
| 顧客タイプ | 主なサービス | 典型的なニーズ |
|---|---|---|
| 最先端モデルラボ | RL環境 · 検証可能な難問 · 選好データ · レッドチーミング | 推論とエージェント能力の限界を突破 |
| オープンソース / 中規模モデルチーム | 事前学習コーパス · SFT · 選好データ | 限られた予算でトップレベルに追いつく |
| 業界特化モデル企業 | 業界特化コーパス · 領域専門家データ · カスタム評価 | 金融、医療、法律、製造分野での専門性 |
| エージェント系スタートアップ | 業務プロセス環境 · ツール呼び出し環境 · 軌跡データ | 実業務の中でエージェントに安定してタスクを完遂させる |
| 企業の内製モデルチーム | 社内データのクレンジング · 匿名化 · ファインチューニング用データ | 社内データを学習可能な資産に転換 |
4つの協業モデルを、必要に応じて組み合わせ
単発のカスタム案件から長期サブスクリプションまで、学習のリズムと予算構造に合わせて選べます。
カスタムプロジェクト
顧客の仕様に基づきゼロからデータを生産し、独占的に納品します。
件数 / 工数ベース既製データセット
購入してすぐ使えるコーパスパッケージ、難問バンク、評価セット。
非独占ライセンスRL環境サブスクリプション
環境を年間ライセンスで提供し、新タスクの追加と修正を継続します。
年間サブスクリプション専門家チームの派遣
ツールとプロセスは顧客が用意し、選抜済みの専門家を私たちが提供します。
工数 + マージン協業の流れ
要件ヒアリング
目標能力、データ種別、規模、受入基準を明確にします。
サンプル納品
まず小ロットのサンプルを納品し、品質基準をすり合わせます。
有償パイロット
中規模で生産し、アブレーションまたは評価結果を添付します。
本格納品
月次で納品し、モデル指標を継続的に追跡しながら方向を調整します。
データ要件についてご相談ください
目標とする能力と現在のボトルネックをお知らせください。1週間以内にデータ提案とサンプル計画をご提示します。