OV-segがベーシックなモデルとしていい題材なのではと考えしばらくの間追試などをしてきた。その中でMaskFormerをsam3に変えるという実験をしてみた。 結果としてはあまりいい成果は得られなかったが、SAM3の性能の高さに驚いた。OV-Segではそれを特化させたとしてもSAM3の一つのベンチマークにすら敵うのは難しそうだと感じた。
自分がやりたいのはそもそも階層的・動的なセグメンテーションである。人間は普段物体全てを細かくセグメンテーションしている訳ではなくみたいと思ったものを詳細にみて、一つ一つ分析していく。分析するのは思考力の仕事だけど注目する粒度を動的に変化させつつその文脈を維持…
にすでにセグメンテーションタスクの実験をやるにあたって必要になる知識と自分の興味のある情報はまとめた
これらのデータセットに対して、有効なモデルを調査する
条件として
を条件にまずはある程度広く、第1選択ならこれで十分じゃないかというモデル候補を明確な根拠を持って調査し、簡潔にまとめることが目的
conten…
GLA-CLIPは、training-freeなOpen-Vocabulary Semantic Segmentation (OVSS)において、高解像度画像をsliding-windowで推論する際に生じるwindow間の不整合を、追加学習なしで軽減する手法です。論文の主張は明快であり、既存手法の精度低下は「モデルが十分に学習されていないから」ではなく、「推論時に参照できる文脈がwindow内に制限されているから」起きるというものです。
この問題に対し、GLA-CLIPはlocal queryを維持したままglobalなkey/valueを参照させ、さらにquery側のwindow…
Open-vocabulary segmentation は、学習時に固定されたラベル集合を超えて、自由なテキスト語彙で画像中の領域を切り分けて認識する流れとして発展してきた研究領域です (OVS Survey)。
2022年ごろの初期フェーズでは、CLIP や ALIGN のような vision-language model の語彙能力を、セグメンテーションへどう移すかが中心課題で、OpenSeg は「まず領域をまとめること」が重要だと整理し、画像キャプション由来の supervision でも open-vocabulary segmentation をスケ…
セグメンテーション全体は入力データの種類とタスクの種類で大きく2つの軸に分けられる
| task | definition | output format | main approach |
| Semantic Segmentation | 各ピクセルにクラスラベルを付与。同一クラスの複数インスタンスは区別しない | ピクセル単位のクラスマップ | FCN, U-Net, DeepLab, PSPNet, SegFormer |
| Instance Segmentation | 各インスタンス（個体）をク… ← All articles |