問題

OV-segがベーシックなモデルとしていい題材なのではと考えしばらくの間追試などをしてきた。その中でMaskFormerをsam3に変えるという実験をしてみた。 結果としてはあまりいい成果は得られなかったが、SAM3の性能の高さに驚いた。OV-Segではそれを特化させたとしてもSAM3の一つのベンチマークにすら敵うのは難しそうだと感じた。

自分がやりたいのはそもそも階層的・動的なセグメンテーションである。人間は普段物体全てを細かくセグメンテーションしている訳ではなくみたいと思ったものを詳細にみて、一つ一つ分析していく。分析するのは思考力の仕事だけど注目する粒度を動的に変化させつつその文脈を維持…

目的

• content/research/topics/segmentations/segmentation_servey.md
• content/research/research_memo/260524.md

にすでにセグメンテーションタスクの実験をやるにあたって必要になる知識と自分の興味のある情報はまとめた

これらのデータセットに対して、有効なモデルを調査する

条件として

• 2024-2026のAI/CV系トップカンファレンスに採択されている
• コードが公開されている

を条件にまずはある程度広く、第1選択ならこれで十分じゃないかというモデル候補を明確な根拠を持って調査し、簡潔にまとめることが目的

形式

conten…

研究テーマを選ぶ

気になって仕方がないもの、自分が常日頃からやりたいと思う研究テーマがあるならそれをまず第一の選択に据える。 もしやりたいことが分からない、もしくは複数思い浮かぶ（こっちの方が大半）場合、とりあえず少しでも興味のある分野の情報を調べてみる。

しかし、やりたいことが定まったとしてそれをどう研究テーマレベルに落とし込むかは別の話

情報を浅く広く集める

• 広域な網羅的なサーベイを読む
• あるトピックを少しでも面白いと思ったら、その狭い領域のサーベイを読む
• NeurlIPS, ICMLなどのトップカンファレンスの中から、自分が興味のある分野の論文のリストを取得し、そのオーラルやabstractionだけを…

GLA-CLIP

要点

GLA-CLIPは、training-freeなOpen-Vocabulary Semantic Segmentation (OVSS)において、高解像度画像をsliding-windowで推論する際に生じるwindow間の不整合を、追加学習なしで軽減する手法です。論文の主張は明快であり、既存手法の精度低下は「モデルが十分に学習されていないから」ではなく、「推論時に参照できる文脈がwindow内に制限されているから」起きるというものです。

この問題に対し、GLA-CLIPはlocal queryを維持したままglobalなkey/valueを参照させ、さらにquery側のwindow…

About Paper

Venue / Year: MICCAI 2015 Link: https://arxiv.org/abs/1505.04597

TL;DR

• Problem: Extremely small dataset sizes for biomedical image segmentation (lack of annotated data).
• Method: A U-shaped encoder-decoder architecture with skip connections to combine global context and precise localization, heavily relying on strong data augmenta…

Blogs

• Keller Jordan blog
• Hiroki Naganuma

Reference materials that may be useful

• How I Prepared for DeepMind and Google AI Research Internship Interviews in 2019
  • It includes specific details about what was learned in Python. It was probably something the author used for their own preparation, so it seems very helpful.
• Microsoft Research Intern 2024 Notes
  • It mentions things like getting a recomme…

Upsampling

低解像度のデータを高解像度に拡大する処理

• 目的: 小さい特徴マップや画像を元のサイズや大きなサイズに戻す
• 逆処理: Downsampling（ダウンサンプリング、縮小）の逆
• 用途: 画像セグメンテーション、超解像、デコーダー部分など

単純な例

Nearest Neighbor Interporation

Transposed Convolution（転地畳み込み）

• いくつかの学習可能なパラメーターを使用して、入力特徴マップを目的の出力特徴マップにアップサンプリングする。
• 入力特徴マップの間を0で埋めて畳み込むことで3x3→5x5のような特徴マップが得られる。

^[1]

The "Unspoken Rules" of Medical Imaging Research

Before proposing a new architecture, you must adhere to the strict baselines and evaluation standards of top conferences (MICCAI, CVPR) and journals (IEEE TMI, MedIA).

• The nnU-Net Rule: nnU-Net (and its scalable variant STU-Net) remains the undisputed baseline. Reviewers will likely rejec…

OVSS 論文リストに共通して出てくる問題

• OVSS の本丸は結局、分類能力よりも dense localization の不足
  • ICCV 2025 の CorrCLIP、DIH-CLIP、Feature Purification Matters、Plug-in Feedback Self-adaptive Attention、CVPR 2026 の [[GLA-CLIP]]、PEARL はいずれも、CLIP の patch 表現や attention、局所相関、ウィンドウ間整合、幾何整合、後段伝播の改善に集中 している

繰り返し解決対象になっている問題点

1. CLIPは分類には強いが画素・パッチレベルの局在性に欠ける
2. training-free OV…

以下の組み合わせからなる

• 強いVLMの知識
• 領域レベルへの適応
• 疑似ラベル生成
• 大規模弱教師データ

代表論文がしていること

• ViLD
  事前学習済みのオープン語彙分類モデルを教師にして、その知識を2段階検出器へ蒸留する枠組みです。要するに「分類モデルが持つ言語知識を検出器へ移す」アプローチで、OVDの出発点として非常に重要です（ViLD）。Open-vocabulary Object Detection via Vision and Language Knowledge Distillation
• RegionCLIP
  CLIPは画像全体と文を対応づけるので、物体領域単位では弱いという問題に対して、領域とテキストを直接そろえる事前…

Open-vocabulary segmentation 調査メモ

要点

Open-vocabulary segmentation は、学習時に固定されたラベル集合を超えて、自由なテキスト語彙で画像中の領域を切り分けて認識する流れとして発展してきた研究領域です (OVS Survey)。

2022年ごろの初期フェーズでは、CLIP や ALIGN のような vision-language model の語彙能力を、セグメンテーションへどう移すかが中心課題で、OpenSeg は「まず領域をまとめること」が重要だと整理し、画像キャプション由来の supervision でも open-vocabulary segmentation をスケ…

スコープ: 公開コードを持つトップカンファレンスモデル (2024–2026)。260524.md で定義された関心領域に基づきドメイン別に整理。 優先度: 2D汎用/OVSS > ビデオトラッキング > 医用 (WSI/3D/ビデオ) > 衛星。 選定基準: (1) CVPR/ICCV/ECCV/NeurIPS/ICLR/MICCAI 2024–2026 に採録、(2) 公開コードが利用可能または公開予定が明示されている、(3) SOTA または重要なアーキテクチャ上の貢献を示す。

1. 2D汎用セグメンテーション & オープンボキャブラリ (OVSS)

1.1 SAM 3 (2025) — Meta