Advanced Usage

This article has no title in its frontmatter, so the filename (advanced-topics) will be used as the title by default.

Nested lists

• Item 1
  • Sub-item A
  • Sub-item B
• Item 2

Strikethrough

This text is struck through.

得たもの

• 東工大修士課程
• UC Berkley PhD (CS)
• 職
  • Google
  • Apple
  • Tesla
  • Citadel
  • TwoSigma
  • jump trading
• 全て

やったこと

• 成績維持
• 英語
  • TOEIC: 950
  • TOEFL: 105
• 研究
  • 国際会議複数
• 競プロ（青）
• Leetcode

Welcome to Mizushi

Mizushi is a lightweight knowledge base engine written in Rust. This is a sample article to demonstrate its features.

Features

• Markdown support — full CommonMark + GFM
• Frontmatter — YAML metadata for each article
• Footnotes as side notes — footnotes appear inline, not at bottom^[1]

GLA-CLIP

要点

GLA-CLIPは、training-freeなOpen-Vocabulary Semantic Segmentation (OVSS)において、高解像度画像をsliding-windowで推論する際に生じるwindow間の不整合を、追加学習なしで軽減する手法です。論文の主張は明快であり、既存手法の精度低下は「モデルが十分に学習されていないから」ではなく、「推論時に参照できる文脈がwindow内に制限されているから」起きるというものです。

この問題に対し、GLA-CLIPはlocal queryを維持したままglobalなkey/valueを参照させ、さらにquery側のwindow…

OVSS 論文リストに共通して出てくる問題

• OVSS の本丸は結局、分類能力よりも dense localization の不足
  • ICCV 2025 の CorrCLIP、DIH-CLIP、Feature Purification Matters、Plug-in Feedback Self-adaptive Attention、CVPR 2026 の [[GLA-CLIP]]、PEARL はいずれも、CLIP の patch 表現や attention、局所相関、ウィンドウ間整合、幾何整合、後段伝播の改善に集中 している

繰り返し解決対象になっている問題点

1. CLIPは分類には強いが画素・パッチレベルの局在性に欠ける
2. training-free OV…

基本的なタスク定義

• 画像 I∈RH×W×CI∈RH×W×C が与えられたとき、任意のテキストで指定されたクラスで各ピクセル ((i,j)) にラベルを割り当てるラベルマッjプ L∈RH×WL∈RH×W を出力する
• 「Open‑vocabulary」のポイント 学習時になかったクラス名（例：「量子ホール効果の実験装置」など）もテキストで指定でき、そのテキストでセグメンテーションできること。

![[OVSSのタスクを決定する_20260405_182855.png]]

サーベイでの分類

• Training Free Open-Vocabulary Semantic Segmentation
  • CLIP-Based Approaches
    • P…

以下の組み合わせからなる

• 強いVLMの知識
• 領域レベルへの適応
• 疑似ラベル生成
• 大規模弱教師データ

代表論文がしていること

• ViLD
  事前学習済みのオープン語彙分類モデルを教師にして、その知識を2段階検出器へ蒸留する枠組みです。要するに「分類モデルが持つ言語知識を検出器へ移す」アプローチで、OVDの出発点として非常に重要です（ViLD）。Open-vocabulary Object Detection via Vision and Language Knowledge Distillation
• RegionCLIP
  CLIPは画像全体と文を対応づけるので、物体領域単位では弱いという問題に対して、領域とテキストを直接そろえる事前…

Open-vocabulary segmentation 調査メモ

要点

Open-vocabulary segmentation は、学習時に固定されたラベル集合を超えて、自由なテキスト語彙で画像中の領域を切り分けて認識する流れとして発展してきた研究領域です (OVS Survey)。

2022年ごろの初期フェーズでは、CLIP や ALIGN のような vision-language model の語彙能力を、セグメンテーションへどう移すかが中心課題で、OpenSeg は「まず領域をまとめること」が重要だと整理し、画像キャプション由来の supervision でも open-vocabulary segmentation をスケ…

Rust Programming Guide

Rust is a systems programming language focused on safety, speed, and concurrency.

Why Rust?

• Memory safety without garbage collection^[1]
• Zero-cost abstractions — high-level features compile down to efficient machine code
• Fearless con…