← Back to Home
研究 ·

【22】ならしLLMへの技術ロードマップ2026——NAIST研究・音声対話・ローカル学習の三位一体

NAIST渡辺研の研究動向、音声対話技術の最前線、MacでのローカルLLM構築——三つの線が交わった先に見えた「ならしLLM」への具体的な工程表。

【22】ならしLLMへの技術ロードマップ2026——NAIST研究・音声対話・ローカル学習の三位一体
#ならしLLM #NAIST #音声AI #ローカルLLM #LLM #Apple #生成AI #奈良 #AIエージェント #プログラミング #映像

【22】ならしLLMへの技術ロードマップ2026——NAIST研究・音声対話・ローカル学習の三位一体

status: published

published: https://note.com/famous_prawn2009/n/n8f05a64ed434

created: 2026-06-25

series: 家族としての東アジア史

target: 4pl

⚠️ RFI締切まであと8日（2026/7/3）：つるまい電話自動化提案書v1.3完成済、PDF提出待ち。

導入：三つの研究が一本の線になった日

2026年6月25日未明から朝にかけて、3件の研究調査が蓄積された。それぞれ独立したテーマ——NAIST渡辺研の研究動向、音声対話技術の最前線、MacでのローカルLLM構築——だが、読み終えたときに一つの景色が見えた。

ならしLLMは、もう「構想」ではなく「工程表」の段階にある。

技術的障壁はほぼ全て解決済み。必要なのは「データの質」だけ。この記事では、三つの調査を統合し、KT（私）の環境（MacBook Pro M1 Max 64GB）でどこまで具体的に動き出せるかを整理する。

第1章：NAIST渡辺研——研究テーマとしての妥当性

なぜ渡辺太郎研なのか

京都奈良という地域の文化を継承するLLM——これが「ならしLLM」の核心だ。しかし、これは単なる趣味のプロジェクトではない。NAIST情報科学領域・渡辺太郎教授の研究室（NLP）で、正規の研究テーマとして成立する。

その根拠は、渡辺研が2024〜2026年に発表した論文群に明確に現れている。

三つの接点

① 方言生成の内部機構【最重要】 平川稜真（NLP2026）は、LLMがどのように方言を生成するかを内部メカニズムから解析した。これは「ならしLLM」の中核——奈良方言を理解・生成するモデルを設計するための基礎理論になる。外部から「方言対応しました」と言うのではなく、モデル内部で方言処理がどう起こるかを理解した上で設計できる。

② 歴史的日本語資料の現代語翻訳 東山翔平（NLP2026）は中世・近世日本語を現代語に機械翻訳する評価用データセットを構築した。正倉院文書（8世紀）のような古代資料の処理に直接応用でき、ならしLLMの「文化継承」ミッションの技術基盤になる。片山歩希（JNLP2025）の時代横断型言語モデル評価も、異なる時代の日本語を扱うための参照点。

③ 同時音声翻訳と評価指標 蒔苗茉那（EMNLP2024・Computational Linguistics 2026採録）のSimul-MuST-C（同時音声翻訳コーパス）や土肥康輔（NLP2026）のSimul-COMET（同時通訳評価指標）は、つるまい電話自動化の音声対話品質評価に転用できる。

研究テーマ案

以上の接点から、NAIST進学後の研究テーマとして以下が考えられる：

「地域特化型LLMにおける方言生成と文化継承——奈良方言データを対象としたLoRAファインチューニングと全二重音声対話の統合」

このテーマは渡辺研の既存研究（方言内部機構・歴史資料処理・同時音声翻訳評価）と補完関係を築ける。小論文では具体的な論文名を引用可能だ。

第2章：音声対話技術の最前線——つるまいに必要な部品

つるまい電話自動化の現在は、ASR → LLM → TTS のパイプライン構成（ハーフデュプレックス）。だが2025〜2026年、大きなブレイクスルーが相次いでいる。

SALMONN-omni：全二重対話の扉（ByteDance・NeurIPS 2025）

従来の全二重システムは VAD（音声活動検出）＋割り込み検出＋対話状態予測＋複数LLMというモジュラー構成で、モジュール間のエラー蓄積が問題だった。Moshi（Kyutai）は音声codecをLLMトークン空間に注入して単一化したが、テキストモード比起動で性能劣化があった。

SALMONN-omniの革新点は「codec注入不要」——LLMバックボーン内の動的思考切替メカニズムで「話す／聞く」を切り替える。既存OSS比30%以上の性能向上。強化学習でターンテイキング、相槌、エコーキャンセリング、文脈依存バージイン（割り込み）を学習できる。

高齢者との電話対話では「被り」（同時発話）と「相槌」が頻発する。 Vapiのようなハーフデュプレックスシステムでは、どうしても「沈黙」や「話し始めの衝突」が残る。SALMONN-omni級の全二重処理は、つるまい電話自動化の次世代アーキテクチャとして参照する価値がある。

J-CHAT：7万時間の日本語対話コーパス（東大・猿渡研）

世界最大の日本語音声対話データセット。YouTube + Podcastから収集、Whisperで日本語識別、pyannoteで話者分離、demucsでBGM除去。非商用なら無料で使用可能。

ならしLLMへの直結： J-CHATでベースモデルを構築 → 奈良方言データを追加ファインチューニング、という2段階アプローチが現実的。NAIST入学後の研究テーマとして「J-CHAT＋方言拡張による地域特化音声対話モデル」を構想できる。

SpeechDialogueFactory：訓練データの自動生成

Monash大学のフレームワークで、音声対話データセットを自動生成する。「奈良の高齢女性が移動支援に電話をかける」シナリオのメタデータを定義すれば、大量の訓練データを合成できる。つるまいの実データ（予約881件・音声184件）を補完する形で使える。これで「質か量か」のジレンマを解決できる——実データで質を担保し、合成データで量を確保する。

STTモデル2026ベンチマーク

KTの環境（Mac M1 Max 64GB）では **Whisper Large V3 Turbo（809M・~6GB VRAM）」が最適。99言語対応で日本語のWERも良好。Metal Performance Shadersで推論可能。

モデルWERパラメータVRAM
Canary Qwen 2.5B5.63%2.5B~8GB
Whisper Large V37.4%1.55B~10GB
Whisper V3 Turbo7.75%809M~6GB
Moonshine-27Mエッジ

第3章：Macでここまでできる——ローカルLLM構築の実装論

ここが最も重要な発見だ。MacBook Pro M1 Max 64GBは、7BクラスのLLMをローカルでファインチューニングできる十分なスペックを持っている。

MLX：Apple Silicon最適化トレーニング

MLX（Appleの機械学習フレームワーク）＋mlx-lmを使えば、M1 MaxでQwen2.5-7BのLoRA学習が可能。実績（M2 Pro 16GB）では3Bモデルを3分・5GBメモリで訓練できた。M1 Max 64GBなら7Bでも10〜30分で完了する。

モデル(4bit)推論メモリ訓練ピーク実現性
3B~2.5GB~5GBスイートスポット
7B~4.5GB~14-16GB64GBなら余裕
13B+~7GB~20GB+可能

LoRAの実践知見（Sebastian Raschkaの数百回実験から）

Raschka（Lightning AI）が数百回の実験から導いた知見を、ならしLLMに当てはめる：

  • QLoRA vs LoRA：33%メモリ削減で39%時間増加。精度低下ほぼなし。M1 Max 64GBならQLoRA不要、bf16 LoRAで十分。
  • 全層LoRAが必須：Query/Valueのみ（4.2Mパラメータ）→全層（20.3M）で性能顕著向上。追加メモリは約2.5GBのみ。
  • r=8〜256で実験：alpha=2×rが標準だが、r=256・alpha=128で最高性能のケースあり。
  • 1エポックで十分：多エポックは過学習。データ品質＞データ量。LIMA（1K精選例）がAlpaca（50K自動生成）を上回る。

ならしLLM構築パイプライン

Phase 0（今すぐ）：ベースモデル選定 Qwen2.5-7B-Instruct-4bit（mlx-community版）が日本語能力高く第一候補。Swallow（日本語特化7B）も選択肢。

Phase 1（データ準備）：つるまいデータのinstruction pair化 予約881件テキスト化 → 音声184件文字起こし → 「奈良方言での質問→標準語での回答」ペア200〜500組。質＞量。

Phase 2（MLX LoRA学習）

python3 -m mlx_lm lora \
  --model mlx-community/Qwen2.5-7B-Instruct-4bit \
  --data ./nara-dialect-data \
  --train --num-layers 16 --learning-rate 1e-4 \
  --iters 200 --adapter-path ./nara-adapters

推定時間：10〜30分。推定メモリ：14〜16GB。

Phase 3（デプロイ） アダプタをベースモデルにfuse → GGUF Q4_K_Mに量子化 → OllamaでローカルAPI提供。GGUF Q4_K_Mは品質保持率92%、Mac Metal最適。

Phase 4（NAIST入学後） J-CHAT（7万時間）でベース強化 → SpeechDialogueFactoryで訓練データ拡張 → クラウドGPUで13B〜70Bにスケール。

結論：三つのピースが示す景色

2026年6月25日の3件の調査は、独立したテーマに見えて、実は一つのパズルだった：

調査問い答え
【B】NAIST渡辺研なぜNAISTか方言生成・歴史資料処理・音声翻訳評価の3軸で接点あり。研究テーマとして成立
【C】音声対話最前線何の技術が必要かSALMONN-omni（全二重）・J-CHAT（7万時間）・SpeechDialogueFactory（合成データ）→ 部品は揃った
【D】ローカルLLM構築MacでどこまでできるかM1 Max 64GBで7B LoRA学習OK。技術的障壁は消失。残るはデータ品質のみ

技術的には、ならしLLMの実現を妨げるものは何もない。

あるのは「データをどう作るか」という、NAISTという研究環境で取り組むべき本質的な問いだけだ。そしてその問いは、KTが大学でLLMを研究し奈良女子大で教えるという北極星に、真っ直ぐ接続している。

💡 この調査から得た気づき

MLXで7BモデルのLoRA学習がM1 Maxで10〜30分で完了する——この事実が、KTの構想を「いつかやりたい」から「明日からできる」に変えた。技術の民主化はここまで来ている。残るは、現場の声と研究の知見を繋ぐ「翻訳者」の仕事だけだ。

そして、それこそがKTの役割——「地域の生の声」と「最先端の研究」を繋ぎ、奈良という場で、大学の学生に教えること。この記事を書いている時点で、その像がはっきりと見えている。