Segmentation全体としての分野

セグメンテーション全体は入力データの種類とタスクの種類で大きく2つの軸に分けられる

第1軸: タスクの種類による分類^[1]

セグメンテーション
├── 2D自然画像・一般物体
│   ├── Semantic
│   ├── Instance
│   ├── Panoptic
│   └── Interactive / Referring（対話型・言語参照）
├── Video Scene Parsing (VSP)
│   ├── Semantic (VSS)
│   │   ├── テンポラルコンシステンシ重視
│   │   └── 代表: STM, TempNet, Video DeepLab
│   ├── Instance (VIS)
│   │   ├── Online（逐次処理）: MaskTrack R-CNN, SipMask
│   │   └── Offline（全フレーム利用）: STMask, IFC
│   ├── Panoptic (VPS)
│   │   ├── Dual-branch（Semantic + Instanceを分離統合）: Panoptic-DeepLab, VPSNet
│   │   └── Depth-aware（深度推論と統合）: ViP-DeepLab, PolyphonicFormer
│   ├── Tracking & Segmentation (VTS)
│   │   ├── VOS（1次参照）: XMem, STCN, SAM 2/3 Video
│   │   └── RVOS（言語参照動画）: MTTR, SeC (ICLR 2026)
│   └── Open-Vocabulary (OVVS)
│       └── テキスト/画像クエリによるゼロショット動画セグメンテーション
├── 3D・点群
│   ├── Semantic Segmentation（屋外・屋内シーン）
│   ├── Instance Segmentation
│   └── Part Segmentation（部品レベル）
└── 特殊ドメイン
    ├── 医療画像
    │   ├── 2D / 2.5D（RGB-D, CT image）
    │   ├── 3D体積（Volume）
    │   └── 細胞・組織レベル（Instance）
    ├── リモートセンシング・衛星画像
    ├── 自動運転（LiDAR + RGB fusion）
    └── 極限環境（悪天候・低照度）

セグメンテーション
├── 2D自然画像・一般物体
│   ├── Semantic
│   ├── Instance
│   ├── Panoptic
│   └── Interactive / Referring（対話型・言語参照）
├── Video Scene Parsing (VSP)
│   ├── Semantic (VSS)
│   │   ├── テンポラルコンシステンシ重視
│   │   └── 代表: STM, TempNet, Video DeepLab
│   ├── Instance (VIS)
│   │   ├── Online（逐次処理）: MaskTrack R-CNN, SipMask
│   │   └── Offline（全フレーム利用）: STMask, IFC
│   ├── Panoptic (VPS)
│   │   ├── Dual-branch（Semantic + Instanceを分離統合）: Panoptic-DeepLab, VPSNet
│   │   └── Depth-aware（深度推論と統合）: ViP-DeepLab, PolyphonicFormer
│   ├── Tracking & Segmentation (VTS)
│   │   ├── VOS（1次参照）: XMem, STCN, SAM 2/3 Video
│   │   └── RVOS（言語参照動画）: MTTR, SeC (ICLR 2026)
│   └── Open-Vocabulary (OVVS)
│       └── テキスト/画像クエリによるゼロショット動画セグメンテーション
├── 3D・点群
│   ├── Semantic Segmentation（屋外・屋内シーン）
│   ├── Instance Segmentation
│   └── Part Segmentation（部品レベル）
└── 特殊ドメイン
    ├── 医療画像
    │   ├── 2D / 2.5D（RGB-D, CT image）
    │   ├── 3D体積（Volume）
    │   └── 細胞・組織レベル（Instance）
    ├── リモートセンシング・衛星画像
    ├── 自動運転（LiDAR + RGB fusion）
    └── 極限環境（悪天候・低照度）

第2軸: 入力データの種類

セグメンテーション
├── 2D自然画像・一般物体
│   ├── RGB
│   ├── マルチスペクトル
├── 動画
│   ├── 時系列2D (VSS)
├── 3D
│   ├── 点群
│   ├── ボクセル
│   └── メッシュ
└── 特殊ドメイン
    ├── 医療画像
    │   ├── CT
    │   ├── MRI
    │   ├── 内視鏡
    │   └── 病理
    ├── リモートセンシング
    │   ├── 衛星写真
    │   └── 航空写真
    ├── 自動運転
    │   ├── LIDAR+RGB
    │   └── レーダー
    ├── 工場・製造
    └── 極限環境（悪天候・低照度）

セグメンテーション
├── 2D自然画像・一般物体
│   ├── RGB
│   ├── マルチスペクトル
├── 動画
│   ├── 時系列2D (VSS)
├── 3D
│   ├── 点群
│   ├── ボクセル
│   └── メッシュ
└── 特殊ドメイン
    ├── 医療画像
    │   ├── CT
    │   ├── MRI
    │   ├── 内視鏡
    │   └── 病理
    ├── リモートセンシング
    │   ├── 衛星写真
    │   └── 航空写真
    ├── 自動運転
    │   ├── LIDAR+RGB
    │   └── レーダー
    ├── 工場・製造
    └── 極限環境（悪天候・低照度）

データセット

2D自然画像・一般物体

Video Scene Parsing (VSP)

3D・点群

医療画像

評価指標

Semantic Segmentation

Instance Segmentation

Panoptic Segmentation

動画

3D点群

医療画像

Open-Vocablary segmentationサーベイでの分類

• Training Free Open-Vocabulary Semantic Segmentation
  • CLIP-Based Approaches
    • Purely CLIP-based
      • Refine Inter-token Mixing
      • Leverage Intermediate Layers
      • Leverage Non-ML obtained Masks
      • Others
    • VFM-s alongside CLIP
      • Refine Inter-token Mixing with VFMs
      • Leverage VFMs for Maskpooling
    • Generative Methods Alongside CLIP