Matting robusto guiado por máscara: gerir entradas ruidosas e versatilidade de objetos

Tabela de Links

Abstrato e 1. Introdução

1. Trabalhos Relacionados

2. MaGGIe

   3.1. Matting de Instância Guiado por Máscara Eficiente

   3.2. Consistência Temporal Feature-Matte

3. Conjuntos de Dados de Matting de Instância

   4.1. Matting de Instância de Imagem e 4.2. Matting de Instância de Vídeo

4. Experiências

   5.1. Pré-treino em dados de imagem

   5.2. Treino em dados de vídeo

5. Discussão e Referências

\ Material Suplementar

1. Detalhes da arquitetura

2. Matting de imagem

   8.1. Geração e preparação do conjunto de dados

   8.2. Detalhes do treino

   8.3. Detalhes quantitativos

   8.4. Mais resultados qualitativos em imagens naturais

3. Matting de vídeo

   9.1. Geração do conjunto de dados

   9.2. Detalhes do treino

   9.3. Detalhes quantitativos

   9.4. Mais resultados qualitativos

8.4. Mais resultados qualitativos em imagens naturais

A Fig. 13 demonstra o desempenho do nosso modelo em cenários desafiantes, particularmente na renderização precisa de regiões de cabelo. A nossa framework supera consistentemente o MGM⋆ na preservação de detalhes, especialmente em interações complexas de instâncias. Em comparação com o InstMatt, o nosso modelo apresenta separação de instâncias superior e precisão de detalhes em regiões ambíguas.

\ A Fig. 14 e a Fig. 15 ilustram o desempenho do nosso modelo e trabalhos anteriores em casos extremos envolvendo múltiplas instâncias. Enquanto o MGM⋆ tem dificuldades com ruído e precisão em cenários de instâncias densas, o nosso modelo mantém alta precisão. O InstMatt, sem dados de treino adicionais, apresenta limitações nestas configurações complexas.

\ A robustez da nossa abordagem guiada por máscara é ainda mais demonstrada na Fig. 16. Aqui, destacamos os desafios enfrentados pelas variantes MGM e SparseMat na previsão de partes ausentes nas entradas de máscara, que o nosso modelo resolve. No entanto, é importante notar que o nosso modelo não foi concebido como uma rede de segmentação de instâncias humanas. Como mostrado na Fig. 17, a nossa framework adere à orientação de entrada, garantindo previsão precisa de alpha matte mesmo com múltiplas instâncias na mesma máscara.

\ Por fim, a Fig. 12 e a Fig. 11 enfatizam as capacidades de generalização do nosso modelo. O modelo extrai com precisão tanto sujeitos humanos como outros objetos dos fundos, demonstrando a sua versatilidade em vários cenários e tipos de objetos.

\ Todos os exemplos são imagens da Internet sem ground-truth e a máscara do r101fpn400e é usada como orientação.

\

\

\

\

\

\

\

\

\

\

\

:::info Autores:

(1) Chuong Huynh, University of Maryland, College Park (chuonghm@cs.umd.edu);

(2) Seoung Wug Oh, Adobe Research (seoh,jolee@adobe.com);

(3) Abhinav Shrivastava, University of Maryland, College Park (abhinav@cs.umd.edu);

(4) Joon-Young Lee, Adobe Research (jolee@adobe.com).

:::

:::info Este artigo está disponível no arxiv sob licença CC by 4.0 Deed (Attribution 4.0 International).

:::

\