何でも切り出す

原題: Segment Anything
著者: Alexander Kirillov ほか（Meta AI Research, FAIR）
公開: 2023年4月5日、arXiv:2304.02643
一次資料: arXiv抄録 / 論文本文

要点

3つだけ覚えるなら

1. 切り抜く対象を、点・枠・マスクでその場で指定できる。 SAMは、決められたカテゴリだけを探すモデルではなく、「ここ」「この範囲」といったプロンプトに応じて対象領域を返す共通部品として設計された。
2. モデルだけでなく、データを増やす仕組みまで一体で作った。 モデルが人のラベル付けを助け、集まったマスクでモデルを改善し、最後は自動生成へ移る循環によって、SA-1B（1,100万画像・11億マスク）を構築した。
3. 未知の画像や別用途にも強いが、万能ではない。 23データセットで1点入力を試し、SAMは強い比較対象RITMを16/23で上回った。一方、細い構造、精密な境界、重い画像エンコーダ、文字指定などには明確な弱点が残る。

一文でいえば、画像の切り抜きを「用途ごとに専用モデルを作る作業」から、「共通モデルに対象を伝える操作」へ近づけた研究である。

問題

切り抜きモデルは用途ごとに分かれていた

画像セグメンテーションは、写真の各画素がどの対象に属するかを決める技術だ。従来は、対話的な切り抜き、インスタンス分割、エッジ検出などが別々の課題として扱われ、学習時と異なる用途へそのまま持ち出すのは難しかった。論文が狙ったのは、固定された課題の一覧をこなす「多タスクモデル」ではなく、推論時の指示によって新しい切り抜き課題の部品になれるモデルである（論文 §2 “Related tasks”）。

大規模な教師データが自然には存在しない

文章や画像と説明文の組はウェブ上に大量にあるが、物体ごとの精密なマスクは自然には増えない。つまり、汎用性を上げるために大量で多様なマスクが必要なのに、その収集自体が高価という詰まりがある。そこで著者らは、タスク・モデル・データを別々に作るのではなく、互いに改善する一つの仕組みとして設計した（論文 §1、§4）。

方法

プロンプト可能な切り抜き

入力は、前景・背景の点、囲み枠、粗いマスクなど、「何を切り抜くか」を示す情報である。出力は、その指示に対して少なくとも一つは筋の通ったマスク。曖昧な1点なら、部分・物体・全体に対応する最大3候補と推定IoU（重なりの良さの予測値）を返す。これが論文のいう promptable segmentation であり、同じ課題を事前学習にも下流用途への適用にも使う（論文 §2、§3）。

重い計算は画像ごとに一度だけ

SAMは、画像エンコーダ、プロンプトエンコーダ、軽量マスクデコーダの3部品からなる。重い画像エンコーダで画像の特徴を一度計算しておけば、点や枠を変えるたびに再利用できる。事前計算済みの画像特徴がある条件では、プロンプト処理とマスク生成はブラウザのCPU上で50 msだった（論文 §3 “Efficiency”）。これはモデル全体の処理時間ではない点が重要だ。

モデルとデータを一緒に育てる

データエンジンは3段階だ。最初はSAMが専門アノテータの作業を補助し、次は高信頼の対象を自動で埋めて人が見落とされた対象を追加する。最後は画像上の規則格子（全画像では32×32点に加えて拡大クロップも使用）から候補を出し、信頼度・安定性・重複除去で選別する。人手支援段階では、1マスク当たりの平均作業時間がモデル改善に伴い34秒から14秒へ下がった（論文 §4、付録B）。

証拠と限界

もっとも強い証拠

• 未知分布への1点入力: 23の多様なデータセットで、SAMはRITMより16件で高いmIoUを示し、最大差は+46.9 IoUだった。人手評価ではSAMの平均品質が7〜9点で、比較対象より一貫して高かった（論文 Fig. 9、§7.1）。ただし、正解側が曖昧さを網羅しないため、自動指標だけでは不利にも有利にもなりうる。
• 自動マスクの品質: 無作為抽出した500画像・約5万マスクを専門家が修正して比較すると、94%がIoU 90%超、97%が75%超だった。SA-1Bのマスクの99.1%は完全自動生成であり、この確認はデータセットの信頼性を支える中心的な証拠である（論文 §5 “Mask quality”）。
• 別課題への転用: LVISの物体候補生成では、ゼロショットSAMのmask AR@1000は59.3で、LVIS学習済みViTDet-Hの63.0には届かなかった。一方、中・大物体、common・rareカテゴリでは上回った（論文 Table 4）。これは「常に最高」ではなく、「追加学習なしでも競争力がある」という証拠だ。

読み違えやすい比較

COCO/LVISのインスタンス分割では、SAMは物体検出器が出した枠を受け取る構成であり、単独で意味カテゴリを検出しているわけではない。mask APはCOCOで46.5対51.0、LVISで44.7対46.6と、教師ありViTDet-Hが上だった（論文 Table 5）。また「ゼロショット」は、評価対象の課題やデータセットで追加学習していないという意味であり、学習データを一切使っていないという意味ではない。

論文が認める限界

SAMは細い構造を落とすことがあり、小さな離れた成分を誤って作る場合もある。拡大処理を使う高計算量の専用手法ほど境界が鋭くなく、多数のクリックを与える精密な対話分割では専用モデルが上回る見込みだ。プロンプト経路は高速でも、重い画像エンコーダを含む全処理はリアルタイムではない。文字からマスクを作る実験は探索的で、十分に頑健ではない。意味分割やパノプティック分割を簡単なプロンプトだけで実装する方法も未確立である（論文 §8 “Limitations”）。

データ面では、アフリカ、ラテンアメリカ・カリブ、低所得国が過少代表だった。人の分割性能では検討した属性群の多くで信頼区間が重なったが、衣服の分割では知覚上のジェンダー表現による偏りの兆候があり、より大きなシステムに組み込むと別の偏りが生じうる（論文 Table 1、Table 2、§6）。

実務的な意味

共通の切り抜き部品として使う

実務上の価値は、「どのカテゴリかをSAM自身に判断させる」ことより、別の仕組みが見つけた対象を正確な領域へ変換する共通部品にある。たとえば、検出器の枠、視線位置、ユーザーのクリックをSAMへ渡し、編集、ラベル付け、計測、3D再構成などの後工程へマスクを渡せる。これは論文の結果から導く実務的な解釈であり、個々の用途での品質を保証する著者の主張ではない。

導入判断で先に確かめること

• 対象領域では、細い部品・小物・穴・境界がどの程度重要か。
• 画像特徴の事前計算を含めた実測遅延と、必要なGPU・メモリ・保存容量は許容できるか。
• 点、枠、検出器など、曖昧さを減らす上流プロンプトを安定して用意できるか。
• 業務の正解定義とSAMの「妥当なマスク」が一致するか。代表的な失敗例を人が評価したか。
• 地域、人物属性、専門画像など、自社データで偏りと性能を再検証したか。

用語と検証メモ

• マスク: 画像の各画素について、対象に含まれるかを示す領域。
• IoU: 予測領域と正解領域の重なりを表す指標。1に近いほど一致する。
• ゼロショット転移: 対象の評価課題・データセット向けに追加学習せず適用すること。
• 不確実性: SA-1Bの画像内容の詳細、すべての実運用領域での公平性、長期運用コストは、この論文だけでは確定できない。

この研究の最大の成果は、切り抜き精度の単独記録というより、「指示できるモデル」と「それを育てるデータ循環」を同時に示したことにある。最大の未解決リスクは、広い汎用性と引き換えに、専門領域で必要な精密さ・速度・偏りの管理を利用側が改めて検証しなければならない点だ。