操作マニュアル
GGUF Generator は、学習データ生成 → 端末内学習 → GGUF 出力を一つのアプリで行います。画面は上部の固定ステータス/ログと、折りたたみ式の各セクションで構成されます。
① 共通設定
- LLM AI サーバ URL(既定
http://127.0.0.1:11434)を設定し、「取得」でモデル一覧を読み込みます(起動時にも自動取得)。 - 生成モデル(LLM)と埋め込みモデル(RAG)を選択します。「サーバ起動」で外部のローカル API サーバを起動できます。状態タイルで接続可否を確認できます。
- デフォルト保存先(Downloads / Documents)を指定します。個別のファイル参照は標準ダイアログで選択します。
② ペア生成
- 入力ソース: Brave 検索 / Wikipedia / URL 指定 / LLM テーマ指示 から選び、キーワードや URL を入力します。ソースに応じて必要な入力欄だけが表示されます。
- 実行: 「ペア生成(FG)」(アプリ内)または「ペア生成(BG)」(バックグラウンド継続)を実行します。停止しても成果は保存されます。既存 JSONL への追記も可能です。
- 生成オプション(任意): 生成件数・採用閾値などの調整と、LLM へ渡すプロンプトの編集を行います。
- 追加処理: データ拡張(任意): 翻訳展開(多言語化)や言い換え増幅で現在のペアを拡張します。
- 実行後処理: 「ペアを編集」で内容を修正、「出力コピー」「JSONL保存」で保存します。編集結果は最新として以後の拡張・学習に反映されます。
③ 早期停止・評価(任意・全学習モード共通)
- 「早期停止・評価を有効にする」をオンにすると、評価が合格閾値(既定 60%)に達した時点で学習を早期終了します。
- 期待値の指定方法は、手動キーワード(「入力 => キーワードA|キーワードB」を 1 行 1 件)または トークン自動抽出(surprisal 上位)から選べます。
- 合格閾値・評価間隔・生成最大トークン・評価件数を指定できます。
④ 学習・GGUF 出力
学習データ(未選択なら直近の生成/編集結果)と保存先を指定し、2 つのサブセクションから学習方式を選びます。
GGUF 新規作成・修正
- 先頭で「新規作成」または「修正(追加学習)」を選択します。
- 新規作成: モデル寸法・段階目標ロス・テンプレートを設定し、小型モデルをゼロから学習して
F32 / F16 / Q8_0GGUF を出力します。 - 修正: 基点 GGUF を選択して継続学習します(寸法は基点から継承)。
LoRA(LFM2・端末内 / 純Cネイティブ)
- 基点 LFM2 GGUF を選び、rank / alpha / lr / epochs / targets を指定して LoRA を学習します。
- llama.cpp 互換アダプタ GGUF と、統合版フル GGUF(単独ロード可)を出力します。統合版のモデルカード(name / description)も設定できます。
ヒント
- 段階目標ロスは、値が大きいほど弱学習(汎化)、小さいほど強学習(暗記)になります。
- 端末内学習は CPU・メモリを多く使用します。長時間学習では通知権限・電池最適化除外の許可を推奨します。
- 処理状況は上部のログで確認できます。