研究継続中
Hime
長文の文芸日本語を英語にするための翻訳パイプラインです。データセンターの大きなモデル一つではなく、ファインチューニングした小さなモデルが段落ごとに作業を分担します。民生用 GPU 一枚、完全オフライン、EPUB で入れて EPUB で出します。
パイプライン
各段落は四つの段階を通ります。要点はその並びではなく、検索による参照が すべての段階に効いていることです。段落ごとに用語集と前の箇所を引き込みます。数百ページにわたって、名前も敬称も文体も揺れないのはそのためです。
現在の状況
ファインチューニングしたモデルは、まだ元のベースモデルを安定して上回れていません。直近の教師ありファインチューニングは、前回より下がりました。頭打ちの位置はベースモデルと学習データの側にあってアダプタの側ではない、というのが現在の見立てです。次の一手が追加のファインチューニングではなく継続事前学習なのは、そのためです。
それをそのまま書くことに損はありません。改善しか報告しないパイプラインは、信用が増えるのではなく減ります。
構成
- 民生用 GPU 一枚
- ファインチューニングしたアダプタ
- 検索で補う文脈
- 完全オフライン
機能している部分
検証の仕組みが自分の漏れを見つけ、結果を撤回しました。
このプロジェクトで成熟しているのは評価の基盤です。整合性チェックを 5 段階そなえた、リークを排除した評価ハーネスがあります。41 項目の言語的な観点を横断して検査し、読者像を割り当てた複数の評価モデルが採点します。
以前に出た良い結果は、正解データ側の漏れが原因だと判明し、撤回しました。それを黙って消さずにここに残しているのは、自分の誤りを捕まえられない計測は計測とは呼べないからです。
リポジトリは非公開のため、ここにリンクはありません。404 を返すリンクは、リンクがないことより悪いからです。