Android / On-device Training / GGUF

GGUF Generator

GGUF Generator は、学習用の Q/A データ生成から、小型モデルの端末内学習・GGUF 出力・LoRA 追加学習までを一つの Android アプリで完結できるオンデバイス学習ツールです。キーワードや URL、Wikipedia、LLM への指示から学習ペアを生成し、そのまま端末内で GGUF（F32/F16/Q8_0）を作成・修正できます。

文書: 操作マニュアル | プライバシーポリシー

        Brave 検索 / Wikipedia / 指定 URL / LLM テーマ指示 を入力ソースに、RAG 評価付きで Q/A 学習ペアを生成します。
翻訳展開・言い換え増幅によるデータ拡張、ペア編集、JSONL 保存に対応します。
端末内で「新規 GGUF 作成」「修正（追加学習）」「LFM2 LoRA（純Cネイティブ）」の 3 方式の学習を実行し、GGUF を出力します。

      

スクリーンショット

GGUF Generator の学習画面 — ステータスヘッダーと処理ログ、ペア生成・学習（新規/修正/LoRA）・GGUF 出力を 1 画面で操作できます。

GGUF Generator のダイレクト実行画面 — 共通設定の LLM サーバ（Ollama 互換）と接続し、生成モデル・埋め込みモデルを選択して実行できます。

主な特徴

オンデバイス学習データ生成: 入力ソース（Brave 検索 / Wikipedia / URL 指定 / LLM テーマ指示）から、本文チャンク化・RAG 評価・複数ペア生成までを行い、Q/A 学習データ（JSONL）を作成します。バックグラウンド実行と停止・再開に対応します。
データ拡張・編集: 生成済みペアを対象に、翻訳展開（多言語化）と言い換え増幅でバリエーションを増やせます。ペア編集画面で内容を直接修正でき、編集結果を「最新」として以後の拡張・学習に反映します。
新規 GGUF 作成: 小型 Transformer（pre-RMSNorm・RoPE・SwiGLU・tied 出力）を端末内でゼロから学習し、F32 / F16 / Q8_0 の GGUF を出力します。段階目標ロスの指定で学習の強さ（汎化↔暗記）を調整できます。
修正（追加学習）: 既存の基点 GGUF を選択して継続学習し、更新した GGUF を出力します。モデル寸法は基点から継承します。
LFM2 LoRA（純Cネイティブ）: 既存 LFM2 GGUF へ LoRA を純 C で学習し、llama.cpp 互換アダプタ GGUF と、基点へ焼き込んだ統合版フル GGUF（単独ロード可）の両方を出力します。
キーワード評価・早期停止: 手動キーワード、またはトークン自動抽出（surprisal 上位）による評価で、合格率が閾値に達したら学習を早期停止できます（新規作成 / 修正 / LoRA 共通）。
Ollama 互換サーバ連携: 共通設定の LLM サーバ URL（既定 http://127.0.0.1:11434）へ接続し、/api/tags でモデル取得、/api/generate で生成、/api/tokenize でトークナイズを利用します。外部アプリのローカル API サーバ起動にも対応します。
端末内完結: 生成物（JSONL / GGUF）は端末の Downloads / Documents / アプリ領域へ保存します。トラッキングや解析情報の収集は行いません。

運用メモ

ペア生成・データ拡張は、利用者が設定した LLM サーバ（既定は端末内）や、Brave Search API・Wikipedia・指定 URL への通信を伴います。送信内容・宛先は利用者の入力と操作に依存します。
端末内学習は CPU・メモリを多く使用します。長時間の学習では通知権限・電池最適化除外の許可が推奨されます。
量子化には次元制約があります（Q8_0 は 32 の倍数）。新規作成時のモデル寸法は自動で丸め・縮小されることがあります。