SSK 株式会社 新社会システム総合研究所

　大規模言語モデル（LLM）は日々、急速な成長・発展をみせ、AIのムーブメントをリードしている。LLMは様々な用途で利用価値があり、そのインパクトは、幅広いドメイン、セクターで実証されつつある。
　しかし、LLMの成長・分化は、スパイラル的な極めて振幅の大きい展開をみせており、適材適所にチューニングする作業は決して容易なことではない。したがって、そのコンセプトを方向づける概念設計のフェーズ、概念モデリングの工程では、PDCA（計画、実行、評価または研究、改善）の各段階のレベルで検証し、これらをスパイラルアップさせながら、改良・拡張・リスク低減を継続的に実施する必要がある。
　こうした観点に立ち、本白書は、現在、LLMで特に重要とされている、または注目を集めている以下の諸点を中心にフォーカスし、内容を構成している。
　・マルチモーダルLLM
　・オープンソースLLM
　・ドメイン特化型 LLM
　・LLMエージェント
　・小規模LLM（SLM）／量子化LLM
　・スーパー小型言語モデル（STLM）
　・ミニCPM
　・LLMの学習効率・学習安定性
　・トランスフォーマー・アーキテクチャー
　・最適化技術
　・ポリシー最適化（PPO）
　・ゼロショット／少数ショットの能力向上
　・LLM推論の最適化／推論効率
　・思考連鎖（CoT）
　・プログラム支援言語モデル（PAL）
　・モデル圧縮
　・タイムトゥファーストトークン （TTFT）の削減
　・ロングコンテキストのLLM（LVLM）
　・MoE （Mixture-of-Experts）アーキテクチャ
　・RAG
　・微調整技術
　・インコンテクスト数ショット学習
　・アテンションメカニズム／アテンション・パターンの効果的な探索
　・自己注意メカニズム／エンコーダのみモデル／デコーダのみモデル
　・LLMオートレーター
　・緻密な検索（DR）モデル／事前学習モデル
　・拡散モデル
　・モデル結合
　・幻覚、性能格差等を調査するためのベンチマーク
　・幻覚回避技術
　・長文高密度検索モデル
　・非トランスフォーマー言語モデル
　・ニューラル・ネットワーク
　・LLMと外部アプリケーションとの相互作用
　・LLMにおける反復的な人間の関与／IoT（Iteration of Thought）フレームワーク
　・PAL（Program-Aided Language Models)
　・ReAct (Reasoning and Acting)
　・LangChain
　・RLHF(Reinforcement Learning from Human Feedback)
　・ReST(Reinforced Self-Training)
　・分散データ並列(DDP)／完全分割データ並列(FSDP)
　本白書は、これらLLMの進歩に係る重要なテーマを包括的・体系的に取り上げ、それぞれのポイントを解きほぐし、必要な情報をまとめた調査報告書である。
　本白書がLLMに関する体系的な客観情勢の把握と認識の深化に役立ち、貢献することを願っている。

序

＜1＞大規模言語モデル：過去、現在、そして未来
　・概説
　　-概要
　　-コンピュートCPUからGPUへ
　　-LLMの技術的な現状
　・基本的なLLMを超えるフェーズへ
　　-アルゴリズム統計からトランスフォーマーへ
　　-将来への展望
　　-LLMの創発的な能力
　　-LLMの未来
　・大規模言語モデル（LLM）の企業への導入
　　-大規模言語モデル(LLM)と企業データとの関連付け
　　-製造業における大規模言語モデル　
　　-エンタープライズLLMアプリ　
　　-エンタープライズ LLMOps＊　-　＊LLM の微調整
　　-マルチエージェント LLM オーケストレーション
　　-ブラックボックスLLM API
　　-AIガバナンスの仕組みとして監査が期待される背景
　・大規模言語モデルの潜在的な可能性
　　-LLMの性能拡張
　　-コンテクスト性／トランスフォーマー・アーキテクチャー
　　-予測可能性／予測精度の高さ
　　-人間の神経細胞の模倣／人工神経回路を追及する先端LLM
　　-英語以外の言語用のLLMの構築


＜2＞大規模言語モデル(LLM)で起きている大きなトレンド［1］
　・マルチモーダルLLM
　・オープンソースLLM
　・ドメイン特化型 LLM
　・LLMエージェント
　・小規模LLM（SLM）／量子化LLM
　・スーパー言語モデル（STLM）
　・ミニCPM
　・LLMの学習効率、学習安定性
　・トランスフォーマー・アーキテクチャー
　・最適化技術
　・ポリシー最適化（PPO）
　・ゼロショット、少数ショットの能力向上
　・LLM推論の最適化／推論効率
　・モデル圧縮
　・タイムトゥファーストトークン （TTFT）の削減
　・ロングコンテキストのLLM（LVLM）

＜3＞大規模言語モデル(LLM)で起きている大きなトレンド［2］
　・MoE （Mixture-of-Experts）アーキテクチャ
　・RAG
　・微調整技術
　・インコンテクスト数ショット学習
　・自己注意メカニズム／エンコーダのみモデル／デコーダのみモデル
　・LLMオートレーター
　・緻密な検索（DR）モデル／事前学習モデル
　・拡散モデル
　・モデル結合
　・アテンションメカニズム、アテンション・パターンの効果的な探索
　・長文高密度検索モデル

＜4＞大規模言語モデル(LLM)で起きている大きなトレンド［3］
　・非トランスフォーマー言語モデル
　・ニューラル・ネットワーク
　・LLMと外部アプリケーションとの相互作用
　・LLMにおける反復的な人間の関与／IoT（Iteration of Thought）フレームワーク
　・PAL（Program-Aided Language Models)
　・ReAct (Reasoning and Acting)
　・LangChain
　・RLHF(Reinforcement Learning from Human Feedback)
　・ReST(Reinforced Self-Training)
　・分散データ並列(DDP)／完全分割データ並列(FSDP)

＜5＞LLMのリスク、課題
　・競争上の圧力、透明性の欠如、モデルの攻撃、モデルの盗用リスク
　・関連研究
　　-研究チーム　「ChatGPTとGoogleのPaLM-2に対するAIモデル盗用攻撃」

＜6＞LLMのコスト削減策を巡る動向
　・コード実行や推論タスクの精度を向上させる動き
　・GPT-4o miniによるAIコスト削減
　・統一したエコシステム整備を模索する動き
　・イノベーションのためのパートナーシップを模索する動き

＜7＞LLM学習コストの削減／メモリー効率向上
　・概説
　・メモリ効率の良い学習
　・メモリフットプリントと活性化
　・メモリ使用量を削減する効率的なファインチューニング・アプローチ
　・メモリフットプリントを削減する適応KVキャッシュ圧縮
　・トークン削除とKVキャッシュ圧縮
　・分散トレーニング
　・PyTorchモデルの量子化
　・関連研究
　　-マサチューセッツ工科大学、プリンストン大学、Together AIの研究グループ
　　　「LLMの重みデルタの量子化、複数の微調整モデルを効率的にリソース削減　「BitDelta￥
　　-カリフォルニア工科大学／カーネギーメロン大学他研究チーム　「ミニシーケンストランス最適化」
　　-マイクロソフトAI　高度な通信最適化戦略による効率的なLLMの学習・トレーニングの最適化
　　-HuggingFace　「計算コストとメモリコストを削減するPython量子化ツールキット」
　　-QLORA　「メモリ使用量を削減するファインチューニング・アプローチ」

＜8＞プロンプト工学と最適化
　・ニューラルネットワークのトレーニングから離散的な自然言語空間におけるLLMの入力プロンプトの最適化へ
　・プランニングと最適化のためのLLM
　・プロンプトエンジニアリングと最適化
　・マルチエージェントシステムのためのLLM
　・関連研究
　　-マックス・プランク知能システム研究所他　「言語化された機械学習：言語モデルによる機械学習の再検討」
　　-マイクロソフトリサーチ／カーネギーメロン大学の研究者　「戦略的プロンプト・エンジニアリングと要約によるLLMの意思決定ナビゲーション」

＜9＞モデル圧縮
　・概説
　・LLM圧縮による効率性、信頼性の向上
　　-メモリコスト
　　-GPUの利用
　　-信頼性の要件
　・大規模モデルの量子化
　・単一GPUを超えてモデル学習を拡張する技術
　・エッジとクラウドのリソース活用
　・ニューラルネットワークのスケーリング／トランスフォーマーのスケーリング
　・規模拡大のための現実的な課題
　・スケーラブルなLLMと高性能コンピューティングの統合
　・関連研究
　　-gptq: 生成的事前学習変換器のための正確な事後学習量子化
　　-清華大学／マイクロソフトリサーチ研究チーム　
　　　「AIモデルのスケーラビリティとパフォーマンスの向上:マルチヘッド混合エキスパートに関する研究」
　　-Inspectus　オープンソースの大規模言語モデルLLMアテンション可視化ライブラリ　「Inspectus」
　　-カリフォルニア大学バークレー校　「大規模言語モデルサービングの品質とスピードを両立させる密度とパースの量子化：SqueezeLLM」

＜10＞量子化／LLMの2値化
　・概説
　・ネットワークの2値化
　・モデル／アプローチ事例
　・関連研究
　　-ワシントン大学　「量子化LLMの効率的な微調整：QLORA:」
　　-ハメド・ビン・ザーイドAI大学／カーネギーメロン大学研究チーム　
　　　「自己回帰蒸留により、完全に2値化されたLLMをゼロからスケールアップ：FBI-LLM:」
　　-イリノイ工科大学他研究チーム　「部分的に2値化された大規模言語モデル：pb-llm」

＜11＞量子化の手法別検証
　・概説
　・量子化手法
　　-重みのみの量子化
　　-重み活性化量子化
　　-重量活性化量子化
　・LLM量子化への挑戦

＜12＞量子化グリッドの種類とその柔軟性
　・概説
　　-ニューラルネットワークの量子化
　　-量子化グリッドの種類とその柔軟性
　　-ベクトル量子化の課題
　・関連研究
　　-クアルコムAIリサーチ　「LLM量子化における次元性の恩恵：GPTVQ」

＜13＞パラメータ効率の良いファインチューニング手法
　・概説
　・大規模言語モデルの低ランク適応
　・大規模言語モデルの重み量子化
　・パラメータ効率の良い微調整
　・低ランク＋スパース／量子化行列分解
　・LLM圧縮
　・関連研究
　　-カーネギーメロン大学／コロンビア大学他研究チーム　「効率的な言語モデルの微調整のための低ランク＋量子化行列分解：lq-lora」
　　-NVIDIA　「低ランク適応（LoRA）法のパラメータ効率向上を目指すアプローチ：Tied-Lora」

＜14＞LLMのパラメータサイズ縮減、パフォーマンス向上のアーキテクチャ別特性
　・概説
　・検索支援トレーニングによるアプローチ
　・スパース計算によるアプローチ
　・Mixture of Depthアーキテクチャによるアプローチ
　・メモリとしてのパラメータによるアプローチ
　・研究チーム、参入企業動向
　　-上海先端アルゴリズム研究所／北京大学機械学習研究センター研究チーム
　　　　「明示的なメモリ・メカニズム導入によるLLMの効率性とパフォーマンス向上」

＜15＞LLMの学習効率、学習安定性の問題と解法
　・概説
　・LLMトレーニング
　・LLMの最適化
　・データセンターにおける診断ツール
　・大規模分散システムにおけるフォールトトレランス
　・関連研究
　　-メガスケール：大規模言語モデル学習を10，000以上のGPUに拡張する

＜16＞事前学習モデルとLLMのパフォーマンス向上促進
　・概説
　・PaLM（Pathway言語モデル）
　・PaLM 2の多言語機能:
　・Med-PaLM（バイオメディカルデータをエンコード、解釈する大規模マルチモーダル生成モデル）
　・AudioPaLM（高精度で聞き取り、話し、翻訳する音声言語モデル）
　・事前学習時にトークン数を増やすプロセス
　・クリーンで多様な事前学習データの使用
　・関連研究
　　-Google Research／Google DeepMind研究チーム　「生物医学的活動をまとめた独自のベンチマーク：MultiMedBench」
　　-Google研究チーム　「高精度で聞き取り、話し、翻訳する新しい大規模言語モデル：AudioPaLM」

＜17＞LLM学習リソース／GPUメモリ要件
　・膨大なメモリ消費量と解決に向けた取り組み
　・複数のGPUにまたがったモデル学習のスケーリング
　・1ビットLLM
　・関連研究
　　-香港科学技術大学他研究チーム　「メモリ効率の良い大規模言語モデルの微調整のための階層的重要度サンプリング：LISA」

＜18＞事前学習したドメイン特化型生成型トランスフォーマーモデル
　・概説
　・金融LLM
　・金融に特化したLLMに関する研究動向
　・法務LLM
　・法務LLMに関する研究動向
　・大規模な文献で事前学習されたドメイン固有の生成変換言語モデル
　　-概説
　　-Microsoft Research　「BioGPT」
　・モデル事例
　　-BERT
　　-医療領域を支援する大規模言語モデル　「Med-PaLM」
　・関連研究
　　-マイクロソフトリサーチ　「大規模な文献で事前学習したドメイン特化型生成型トランスフォーマー言語モデル：BioGPT」

＜19＞LLMの微調整戦略
　・概説
　・ファインチューニングによる大規模言語モデルの性能向上
　・マルチタスク微調整と命令調整モデル
　・パラメータ効率微調整（PEFT）
　・低ランク適応（LoRA）
　・比較分析
　・LLMの微調整と時間知識グラフ（TKG）モデルの解釈可能性と適応性向上
　・関連研究
　　-スタンフォード大学の研究者がインコンテキストベクター（ICV）を発表： 大規模言語モデルを微調整するスケーラブルで効率的なAIアプローチ
　　-大規模言語モデルによる動的適応(LLM-DA)：時間知識グラフ上の推論のための機械学習手法 TKGs

＜20＞LLM推論における生成タスクの主な性能ボトルネックと解法アプローチ
　・概説
　・LLMで急増する推論オーバーヘッドとその解決
　・チャットAIの多元的アプローチ
　・生成システムの組み合わせ／アンサンブルアプローチ
　・LLM量子化
　・非一様量子化
　・外れ値を考慮した量子化
　・密と疎の分解
　・関連研究
　　-カリフォルニア大学バークレー校 ／顕微授精 ／LBNLSqueezeLLM: 密度とパースの量子化
　　-ケンブリッジ大学 ユニバーシティ・カレッジ・ロンドン／チャイ・リサーチ研究チーム
　　　「複数のチャットAIを統合するブレンディングアプローチ」
　　-ケンブリッジ大学他　「兆パラメータLLM」

＜21＞CPU上でのLLMの効率的な推論を提供する技術
　・概説
　・関連研究
　　-インテル　「CPU上のLLMをより効率的に展開する新しい人工知能アプローチ」

＜22＞LLMの量子化・圧縮
　・概説
　・大言語モデルの圧縮
　・大言語モデルの量子化
　・Post-Training Quantization (PTQ)
　・Quantization-Aware Training (QAT)
　・重み量子化
　・非一様量子化
　・外れ値を考慮した量子化
　・密と疎の分解
　・LLM重みの量子化感度
　・構造化されていない外れ値
　・SpQR：感度を考慮した圧縮表現
　・高感度外れ値
　・関連研究
　　-チューリッヒ工科大学他研究チーム　「損失の少ないLLM重み圧縮のためのスパース量子化表現：SpQR」
　　-UCバークレー他研究チーム　「密度とパースの量子化“SqueezeLLM」

＜23＞効率的なLLM推論を行うための手法
　・概説
　・タイムトゥファーストトークン （TTFT）の削減
　・関連研究
　　-アップル／メタAI　「効率的な長いコンテキストのLLM推定のための動的トークン刈り込み：LazyLLM」

＜24＞ロングコンテキストのLLM（LVLM）
　・概説
　・LVLMの文書自動理解（DU）と能力評価（ベンチマーク）
　・文書理解のためのモデル
　・ロングシークエンス・トレーニングのハードウェア性能
　・長いシーケンスを用いて大規模なモデルを学習する能力の最適化

＜25＞MoE （Mixture-of-Experts)の体系、最新研究開発・実装動向
　・概説
　・LLMとMoEの関係
　・MoE言語モデルに関する最新研究動向
　・学習後のLLMの量子化
　・パラメータオフロードによる推論
　・疎に活性化されたMoEアーキテクチャー
　・MoEの課題
　・オープンソースMoEシステム用フレームワーク
　　-Microsoft　「Deepspeed-MoE」
　　-Microsoft　「Tutel」
　　-Meta 　「Fairseq」
　　-TensorFlow Google 　「Mesh」
　　-Baidu　「SE-MoE」
　　-ロボット　Colossal-AI 　「OpenMoE」
　　-Mila Quebec 　「ScatterMoE」
　　-スタンフォード大学　「Megablocks」
　　-Hetu 　「HetuMoE
　　-清華大学　「FastMoE」
　・関連研究
　　-ハルビン工業大学研究チーム　「疎なMoEアーキテクチャに基づく統合マルチモーダルLLM：Uni-MoE」
　　-テンセント・フンユアン／東京工業大学／マカオ大学
　　　「異種混合エキスパート(HMoE):多様なエキスパート能力によるモデルの効率性とパフォーマンスの向上」
　　-テンセント・フンユアン／マサチューセッツ工科大学　「言語モデリングのための専門家の異種混合：HMoE」
　　-モスクワ物理工科大学　「オフロードを用いた専門家混合言語モデルの高速推論」
　　-研究チーム　「MoEによる言語モデルの効率的なスケーリング：GLaM」

＜26＞RAG（Retrieval Augmented Generation)
　・概説
　・従来のRAGフレームワークの問題点と解法
　・検索-拡張生成
　・長い文脈の大きな言語モデル
　・関連研究
　　-ウォータールー大学　「ロングコンテクストLLMによる検索補強生成の強化：LongRAG」
　　-インテル研究所　「RAGユースケース向けにLLMを拡張するオープンソースのPythonフレームワーク：RAG Foundry」

＜27＞LLMと外部アプリケーションとの相互作用
　・概説
　・プログラム支援言語モデル（PAL）

＜28＞複雑な問題解決のためのReAct (Reasoning and Acting)フレームワーク
　・概説
　・関連研究
　　-プリンストン大学／Google　「ReActを提案:大規模言語モデルにおける推論と行動の相乗効果を生み出す効果的な手法」

＜29＞知識グラフ推論のための事前学習済みモデル
　・概説
　・関連研究
　　-研究チーム　あらゆるグラフで動作する知識グラフ推論のための事前学習済み基礎モデル「ULTRA」

＜30＞コード生成のために事前学習済みモデル
　・概説
　・関連研究
　　-中国科学院、北京大学研究チーム　「コード生成のために事前学習済みモデルを効率的に強化するPanGu-Coder2モデル／RRTFフレームワーク」

＜31＞事前学習済みの拡散モデルと制御可能な生成を可能にするAIフレームワーク
　・概説
　・拡散モデルの発展
　・最適化されたサンプリング効率
　・関連研究
　　-シンガポール国立大学　「拡散モデルを無料で高速化するDeepCache」

＜32＞マルチモーダル事前学習モデル
　・概説
　・関連研究
　　-研究チーム　「視覚言語事前学習モデルと、ユニモーダルおよびマルチモーダルタスクにおけるその役割に関する包括的な調査」
　　-M-A-P、ウォータールー大学、HKUST、マンチェスター大学研究チーム　
　　　事前トレーニング済み音楽ファウンデーション・モデルのAIモデルシリーズ　「MuPT」

＜33＞事前学習された拡散モデルによる超解像（SR）技術
　・概説
　・関連研究
　　-研究チーム　事前に訓練された拡散モデルの力を利用したAI超解像アプローチ　「StableSR」

＜34＞バイリンガル事前学習済み言語モデル
　・概説
　・関連研究
　　-清華大学／Zhipu.AI研究チーム　130Bのパラメータを持つバイリンガル（英語と中国語）事前学習済み言語モデル　「GLM-130B」

＜35＞蒸留・棄却サンプリングを使用する反復的なファインチューニング
　・概説
　・関連研究
　　-ハーバード大学　学習済みの言語モデルを適応させる機械学習「Q-Probing」

＜36＞最適化技術
　・概説
　・言語モデルの微調整
　・オープンソースLLM
　・関連研究
　　-ダイヤルパッド　「より小さな大規模言語モデル」

＜37＞モデルの強固な整合性確保
　・モデルのアライメント
　・モデル・アライメントに対する攻撃
　・モデルの頑健性
　・グリッチトークン
　・関連研究
　　-シンガポール国立大学　「単一文字の摂動がLLMアライメントを崩す」
　　-EPFL　「LLMにおける頑健な拒否訓練の強化：過去時制の改編攻撃と潜在的防御策」

＜38＞LLMの追加の適応／経験リプレイ
　・概説
　・知識蒸留（Knowledge Distillation; KD; HVD15）
　・デン状態または注意スコア
　・壊滅的な忘却
　・関連研究
　　-モデル・マージによる言語伝達における壊滅的な忘却の軽減

＜39＞推論能力を向上させる方法
　・概説
　・一般的な反復アライメント手法
　・推論能力を向上させる方法
　・関連研究
　　-ニューヨーク大学研究チーム　「反復推論による選好最適化」

＜40＞視覚言語や画像生成モデルにも応用され、注目を集めている直接選好最適化（DPO）
　・概説
　・関連研究
　　-スタンフォード大学研究チーム　「From r to Q* : あなたの言語モデルは密かにQ関数である」

＜41＞LLMにおける反復的な人間の関与／IoT（Iteration of Thought）フレームワーク
　・概説
　・人間のフィードバックを利用してテキストから画像へのAIモデルを改善するアプローチ
　・関連研究
　　-Google／U.C.Berkeley　「人間のフィードバックによる強化学習（RLHF）」
　　-トロント大学　「思考の反復：自律的な大規模言語モデル推論のための内的対話の活用」

＜42＞専門家のスパース混合（SMoE）言語モデル
　・概説
　・関連研究
　　-Mixtral-スパースなMoEネットワーク
　　-清華大学／マイクロソフトリサーチ　「多人数の専門家混合ヘッド」

＜43＞人間フィードバックからの強化学習に代わる有望な手法に関する研究
　・概説
　・LMのアライメント
　・関連研究
　　-Google DeepMind研究チーム　「LiPO：ランク学習によるリストワイズ選好最適化」

＜44＞人間のフィードバックに適合した報酬モデル（RM）と過剰最適化によるアライメント問題の解決
　・概説
　・関連研究
　　-グーグル・ディープマインド他研究チーム　「報酬モデルの過剰最適化に立ち向かう制約付きrlhf」

＜45＞LLMによる検索結果の向上
　・概説
　・OpenSearchにおけるセマンティック検索パイプラインのセットアップの概略

＜46＞人間の選好の矛盾に対処し、選好をより柔軟に表現できるアルゴリズムの設計
　・概説
　・RLHFに対する既存のアプローチ
　・パラメトリック選好モデル
　・Explicit/Implicit Reward Modelを用いたRLHF
　・一般的選好モデルによるRLHF
　・RLHFの理論的保証を提供する研究
　・セルフプレイ・ファインチューニング
　・嗜好データの有無にかかわらず柔軟にシナリオに適用できるセルフプレイの微調整
　・ロボット等における多ラウンドマルコフ決定過程（MDP）に焦点を当てた自己再生嗜好最適化(SPO)
　・クロスエントロピーに基づく直接ナッシュ最適化（DNO）アルゴリズム
　・関連研究

＜47＞長い文脈の入力や複雑なコード構造に渡る複雑な推論における課題と解決のためのアプローチ
　・概説
　・関連研究
　　-シンガポール国立大学、アリババグループ、西安交通大学の研究者チーム　
　　　「CODEXGRAPH: コードグラフデータベースによる大規模言語モデルとコードリポジトリの橋渡し」

＜48＞LLMのポストトレーニングを巡る新しい波：報酬最大化の枠組みからの脱却／ペアワイズ、直接最適化
　・概説
　・報酬モデル
　・直接選好最適化(DPO)
　・RLHFと一般的なプリファレンス
　・オンラインRLHFアルゴリズム
　・報酬モデル拡張SFT
　・オフラインの対比的選好学習
　・統計的棄却サンプリング最適化(RSO)
　・反復的な報酬ベースの微調整(ReST)
　・オンポリシー対照学習：Self-Rewarding Language Models
　・オンポリシー一般選好最適化
　・関連研究
　　-マイクロソフト・リサーチ　「直接ナッシュ最適化：言語モデルに一般的な嗜好による自己改善を教える」

＜49＞LLMオートレーターの学習・報酬モデル
　・概説
　・オートレーターの空間における先行研究
　　-自動評価メトリクス
　　-LLMをジャッジとするオートレーナー
　　-汎用のLLMオートレーナー
　　-報酬モデル
　・関連研究
　　-Google DeepMind他研究チーム　「基礎的なオートレーターより良い自動評価のために大規模言語モデルを飼いならす」

＜50＞非トランスフォーマー言語モデル
　・概説
　・Mamba
　・RWKV
　・ニューラル・ネットワーク
　　-モデルのスケーリング
　　-ハードウェア
　　-ソフトウェア
　　-モデルの学習と推論における並列性
　　-自動化された並列処理
　　-条件付き計算と機械翻訳
　・関連研究
　　-Google　「条件計算と自動シャーディングによる巨大モデルのスケーリング：GShard」

＜51＞LLMエージェント開発の強固な戦略を提供する主な設計パターン
　・概説
　・専門化（スペシャライゼーション）／専門知識のオーケストレーション
　・ツールスイート（大規模なツールセット）による専門化
　・ディベート／ディスカッションによる意思決定の強化
　・委任（Delegation）／並列処理による効率の向上
　・並列化／コストとスピードのバランス

＜52＞LLMの事実性を向上させるためのアプローチ
　・概説
　・研究チーム、参入企業動向
　　-カーネギーメロン大学／スタンフォード大学研究チーム　「戦略的なQAデータセット構成によってLLMの事実精度を向上させるための洞察」

＜53＞LLMを導入する際のコストと性能のトレードオフを最適化
　・費用対効果の高いLLM
　・研究チーム、参入企業動向
　　-UC Berkeley／Anyscale／Canva研究チーム　「費用対効果の高いLLMルーティングのためのオープンソースフレームワーク」

＜54＞大規模言語モデルのスケーリング
　・概説
　・ 言語モデルのスケーリング法則に関する最近の研究
　　-モデルのスケーリング
　　-システムのスケーリング
　・関連研究
　　-分散・並列ソフトウェア研究所、ファーウェイ・テクノロジー　
　　　「PANGU-Σ：スパースヘテロジニアスコンピューティングによる1兆パラメータ言語モデル」

＜55＞大規模マルチモーダルモデル（LMM）を統合能力を評価するためのベンチマーク
　・概説
　・関連研究
　　-シンガポール国立大学／マイクロソフト／アドバンスト・マイクロ・デバイス　
　　　「統合機能のための大規模マルチモーダルモデルを評価するチャレンジングなベンチマーク：v2」
　　-北京交通大学、福州大学、Institute of Automation CAS 研究チーム　「LLMの使用能力を評価する新しい標準ベンチマークツール：WTU-Eval」

＜56＞拡散モデル／生成的視覚モデリング
　・概説
　・テキストの反転と文体の移行
　・人間の嗜好モデリング
　・反復フィードバック

＜58＞多言語LLM／多言語の多種多様なタスクに対応する言語理解(MMMLU)
　・概説
　・自然言語処理アプリケーション向けに設計された多言語マルチタスクテキスト埋め込みモデル
　・多言語環境におけるモデルの性能とリソース効率のバランス調整
　・ツールの使用と関数の呼び出しをサポートする多言語モデル
　・研究チーム、参入企業動向
　　-OpenAI　「多言語の多種多様なタスクに対応する言語理解用データセット公開」
　　-テキサス大学オースティン校／Jina AI GmbH研究チーム　「パフォーマンス向上とストレージ削減を達成した多言語検索モデル：Jina-ColBERT-v2」
　　-Jina AI GmbH　「様々な自然言語処理アプリケーションのために設計された多言語マルチタスクテキスト埋め込みモデル」
　　-Mistral AI　「多目的・多言語 AI アプリケーションを強化するオープンソース言語モデル
　　-XVERSE Technology　「MOEアーキテクチャと大規模言語処理における新たな基準を設定する多言語 AI モデル: XVERSE-MoE-A36B」
　　-Cohere For AI　「多言語AIのための104Bと35Bパラメータを持つ強力な言語モデル：Command R (35B)／Command R+ (104B)のアップデート」

＜59＞LLMの主要課題（幻覚、性能格差等）を調査するためのベンチマーク
　・概説
　・幻覚の正確な再度定義、定量化
　・知識グラフ・データセット
　・知識グラフ上でのLLMの学習
　・幻覚率とその尺度
　・幻覚の検出可能性とその尺度
　・研究チーム、参入企業動向
　　-メリーランド大学／ミシガン州立大学研究チーム
　　　「世界銀行の国別データから構成されるダイナミックで柔軟なLLMベンチマーク：WorldBench」
　　-マサチューセッツ工科大学／ワシントン大学研究チーム　「幻覚検出へのルックバックレンズ・アプローチ」

＜60＞LLMにおける幻覚の問題と対策
　・概説
　・幻覚を回避する方法を提案する先行研究
　　-LLMにおける幻覚研究の焦点
　　-分類器ガイド付き生成
　　-自己アテンションとモデル行動／アテンション
　・事例
　　-マサチューセッツ工科大学／ワシントン大学　「LLMの信頼性を向上させる幻覚検出のためのルックバックレンズアプローチ￥
　　-グーグル・ディープマインド　「知識グラフで言語モデルを学習する：幻覚とその検出可能性に関する洞察」
　　-IBMリサーチ／T.J.ワトソン研究センター研究チーム　「LLMの幻覚を軽減する新しいトレーニング不要のAIアプローチ」

＜61＞幻覚検出研究の最新動向／最先端の幻覚検出モデル
　・概説
　・推論（NLI）によるアプローチ
　・データセットによるアプローチ
　・包括的な幻覚評価ベンチマークによるアプローチ
　　-Patronus AI　「GPT-4o等の最先端LLMを上回るSOTA幻覚検出LLM：Lynx」
　　-Lakera 　「LLMの脆弱性から防御するためにAIを活用するリアルタイムGenAIセキュリティ：Lakera AI」

＜62＞アテンションの2次的な複雑さに対処する方法
　・概説
　・研究チーム、参入企業動向
　　-「効率的なロングコンテクスト処理のためのSampleAttentionの導入」

＜63＞LLM報酬学習の一般化可能性（GRM）と頑健性向上
　・概説
　・研究チーム、参入企業動向
　　-香港科技大学、ジョージア工科大学、イリノイ大学アーバナ・シャンペーン校研究チーム
　　　「LLMの報酬学習の一般化可能性と頑健性を向上させる効率的なAIアプローチ」

＜64＞大量の視覚データとテキストデータを統合処理による高度なヒューマンコンピュータインタラクションの応用
　・概説
　・研究チーム、参入企業動向
　　-マイクロソフト　「マルチモーダル入力、膨大なテキスト、多言語に対応するモデル：Phi 3.5シリーズ」

＜65＞全二重コミュニケーションを提供するリアルタイム音声対話モデル
　・概説
　・研究チーム、参入企業動向
　　-Kyutai Labs　「、全二重リアルタイム対話システム：Moshi」

＜66＞大規模推論モデル（LRM）
　・概説

＜67＞特定タスクの微調整用のデータ増強によるデータキュレーションへの依存軽減
　・概説
　・関連研究

＜68＞モデルの刈り込みと知識蒸留によるより高速でリソース消費の少ないモデル作成
　・概説
　・研究チーム、参入企業動向
　　-NVIDIA 　「高度な刈り込みと知識抽出技術による効率とパフォーマンスの再定義：Mistral-NeMo-Minitron 8B」

＜69＞LLMの脆弱性から守るLLMセキュリティ
　・概説
　・研究チーム、参入企業動向
　　-Lakera AI