ネルダー–ミード法

ネルダー–ミード法（ネルダー–ミードほう、英: Nelder–Mead method）や滑降シンプレックス法（英: downhill simplex method）やアメーバ法（英: amoeba method）は、最適化問題のアルゴリズム。導関数は不要。1965年に John A. Nelder と Roger Mead が発表した^[1]。

概要

n + 1 個の頂点からなる n 次元の単体（シンプレックス）をアメーバのように動かしながら関数の最小値を探索する。反射、膨張、収縮の3種類を使い分けながら探索する。

Rの汎用的最適化の optim() のデフォルトのアルゴリズムとしても使われている。

線形計画法の1つであるシンプレックス法と名前はまぎらわしいが、基本的に無関係である。

擬似コード

${\displaystyle f({\textbf {x}})}$ の最小化を行う。${\displaystyle {\textbf {x}}}$ は n 次元のベクトル。関数の引数は探索開始点。定数は一般的には ${\displaystyle \alpha =1,\gamma =2,\rho =1/2,\sigma =1/2}$ を使用する。${\displaystyle {\textbf {e}}_{i}}$ は単位ベクトル。

function nelderMead(${\displaystyle {\textbf {x}}_{1}}$) {
    ${\displaystyle {\textbf {x}}_{i+1}={\textbf {x}}_{1}+\lambda {\textbf {e}}_{i}{\text{ for all i }}\in \{1,\dots ,n\}}$
    while (所定のループ回数 や 値の改善が小さくなった) {
        ${\displaystyle f({\textbf {x}}_{1})\leq f({\textbf {x}}_{2})\leq \cdots \leq f({\textbf {x}}_{n+1})}$ となるようにソートする。
    
        // 重心（${\displaystyle {\textbf {x}}_{n+1}}$は除外）
        ${\displaystyle {\textbf {x}}_{0}={\frac {1}{n}}\sum _{i=1}^{n}{\textbf {x}}_{i}}$ 
    
        ${\displaystyle {\textbf {x}}_{r}={\textbf {x}}_{o}+\alpha ({\textbf {x}}_{o}-{\textbf {x}}_{n+1})}$
        if ${\displaystyle (f({\textbf {x}}_{1})\leq f({\textbf {x}}_{r})<f({\textbf {x}}_{n}))}$ {
            // 反射
            ${\displaystyle {\textbf {x}}_{n+1}={\textbf {x}}_{r}}$
        } else if ${\displaystyle (f({\textbf {x}}_{r})<f({\textbf {x}}_{1}))}$ {
            // 膨張
            ${\displaystyle {\textbf {x}}_{e}={\textbf {x}}_{o}+\gamma ({\textbf {x}}_{r}-{\textbf {x}}_{o})}$
            if ${\displaystyle (f({\textbf {x}}_{e})<f({\textbf {x}}_{r}))}$ {
                ${\displaystyle {\textbf {x}}_{n+1}={\textbf {x}}_{e}}$
            } else {
                ${\displaystyle {\textbf {x}}_{n+1}={\textbf {x}}_{r}}$
            }
        } else {
            // 収縮
            ${\displaystyle {\textbf {x}}_{c}={\textbf {x}}_{o}+\rho ({\textbf {x}}_{n+1}-{\textbf {x}}_{o})}$
            if ${\displaystyle (f({\textbf {x}}_{c})<f({\textbf {x}}_{n+1}))}$ {
                ${\displaystyle {\textbf {x}}_{n+1}={\textbf {x}}_{c}}$
            } else {
                ${\displaystyle {\textbf {x}}_{i}={\textbf {x}}_{1}+\sigma ({\textbf {x}}_{i}-{\textbf {x}}_{1}){\text{ for all i }}\in \{2,\dots ,n+1\}}$
            }
        }
    }
}

脚注

表 話 編 歴 数理最適化 • 最適化問題 : メソッド • ヒューリスティック
非線形(無制約)	… 関数　 黄金分割探索 直線探索 ネルダー–ミード法 連続放物線補間（英語版） 勾配法 収束性 信頼領域 ウルフ条件（英語版） 準ニュートン法 BFGS法 ブロイデン法 L-BFGS（英語版） DFP法 対称ランク1法（英語版） その他の求解法 ガウス・ニュートン法 最急降下法 レーベンバーグ・マルカート法 共役勾配法（非線形共役勾配法） 切り捨てニュートン法（英語版） ドッグレッグ法 … ヘッセ行列 最適化におけるニュートン法（英語版）
非線形(制約付き)	一般 バリア関数 ペナルティ関数法（英語版） 微分可能 ラグランジュの未定乗数法 逐次二次計画法 連続線形計画（英語版）
凸最適化	凸縮小化 切除平面法（英語版、デンマーク語版、ドイツ語版、スペイン語版） 簡約勾配法 劣勾配法（英語版） 線型 および 二次 内点法 カチヤン楕円体法 カーマーカーの投影アルゴリズム ベイズ-交換 単体法 改訂シンプレックス法（英語版） 十字法（英語版） レムケの主ピボット操作法（英語版）
組合せ最適化	系列範例 (Paradigms) 近似アルゴリズム 動的計画法 貪欲法 整数計画問題(分枝限定法 若しくは 切断) グラフ理論 最小全域木 ベルマン–フォード法 ブルーフカ法 ダイクストラ法 ワーシャル–フロイド法 ジョンソン法（英語版） クラスカル法 最大フロー問題 Dinic法（英語版） エドモンズ・カープ フォード・ファルカーソン プッシュリラベル最大流アルゴリズム（英語版）
メタヒューリスティクス	進化的アルゴリズム（進化戦略） 山登り法 局所探索法 焼きなまし法 タブーサーチ ベイスンホッピング法
カテゴリ（最適化 • アルゴリズム） • ソフトウェア（英語版）