研究中

Hime

日本語から英語への長文の文芸テキストを対象に、ローカルで動く機械翻訳のパイプライン。大きなクラウドモデル1つではなく、ファインチューンした小さなローカルモデルが順に各段落を処理する。

下訳、統合、仕上げ、検査。段落ごとに、1台の機械の上で。

01 · パイプライン段落ごと · チェックポイントあり処理は本の途中で中断し、再開できる

パイプライン

前処理形態素解析、用語集の照合、同じ作品の以前の箇所の検索。各段落は自分用の文脈を伴って到着する。
下訳複数のモデルが並列に翻訳する。モデルを使わない決定論的な辞書ベースの経路も1本含む。
統合合意モデルが各下訳の最も強い部分を組み合わせる。
仕上げ別のモデルが語調、リズム、文体を整える。
検査それぞれ異なる失敗パターンに合わせた読者ペルソナの集団が読む。集約器が3つの判定のいずれかを返す。採用、再仕上げ、または破棄して下訳からやり直し。再仕上げは最大2回、やり直しは最大1回。

判定の矢印は仕上げまたは下訳へ戻る。採用された段落は EPUB として出ていく。

コンシューマーGPU 1台 · ファインチューンしたアダプタ · 検索で補強した文脈 · EPUB 入 / EPUB 出 · 完全オフライン

02 · 現状 5つの整合性ゲート · 41軸次の一手：継続事前学習

ファインチューンしたモデルは、まだ自らの基盤モデルを安定して上回れていない。

直近の教師ありファインチューンは、前回に対して後退という結果になった。上限はアダプタではなく基盤モデルと学習データの側にあると見られる。そのため次の一手は、さらなるファインチューンではなく継続事前学習である。

Hime はコンシューマー向けGPU 1台で、完全オフラインで動く。数百ページにわたる一貫性は、段落ごとに用語集と以前の箇所を検索して与えることで保たれる。長い作品を通して固有名と文体が揺れない。

うまく機能しているのは評価の仕組みである。混入を除いた判定ハーネスに5つの整合性ゲートを置き、41の言語的な軸を測るプローブを備えている。

撤回

以前の良好な結果は解答キーの混入が原因と判明し、撤回した。検証に耐えられない数値は、数値がないことより価値が低い。