Robuuste Maskergestuurde Matting: Beheer van Ruizige Invoer en Objectveelzijdigheid

Inhoudsopgave

Abstract en 1. Inleiding

1. Gerelateerd Werk

2. MaGGIe

   3.1. Efficiënte Gemaskeerde Begeleide Instance Matting

   3.2. Feature-Matte Temporele Consistentie

3. Instance Matting Datasets

   4.1. Afbeelding Instance Matting en 4.2. Video Instance Matting

4. Experimenten

   5.1. Pre-training op afbeeldingsdata

   5.2. Training op videodata

5. Discussie en Referenties

\ Aanvullend Materiaal

1. Architectuurdetails

2. Afbeelding matting

   8.1. Datasetgeneratie en voorbereiding

   8.2. Trainingsdetails

   8.3. Kwantitatieve details

   8.4. Meer kwalitatieve resultaten op natuurlijke afbeeldingen

3. Video matting

   9.1. Datasetgeneratie

   9.2. Trainingsdetails

   9.3. Kwantitatieve details

   9.4. Meer kwalitatieve resultaten

8.4. Meer kwalitatieve resultaten op natuurlijke afbeeldingen

Fig. 13 toont de prestaties van ons model in uitdagende scenario's, met name bij het nauwkeurig weergeven van haargebieden. Ons framework presteert consistent beter dan MGM⋆ in detailbehoud, vooral bij complexe instance-interacties. In vergelijking met InstMatt vertoont ons model superieure instance-scheiding en detailnauwkeurigheid in dubbelzinnige gebieden.

\ Fig. 14 en Fig. 15 illustreren de prestaties van ons model en eerdere werken in extreme gevallen met meerdere instances. Terwijl MGM⋆ worstelt met ruis en nauwkeurigheid in dichte instance-scenario's, behoudt ons model hoge precisie. InstMatt toont zonder aanvullende trainingsdata beperkingen in deze complexe situaties.

\ De robuustheid van onze maskbegeleide aanpak wordt verder gedemonstreerd in Fig. 16. Hier benadrukken we de uitdagingen waarmee MGM-varianten en SparseMat worden geconfronteerd bij het voorspellen van ontbrekende delen in maskerinvoer, wat ons model adresseert. Het is echter belangrijk op te merken dat ons model niet is ontworpen als een menselijk instance-segmentatienetwerk. Zoals getoond in Fig. 17, volgt ons framework de invoerbegeleiding en zorgt voor nauwkeurige alpha matte-voorspelling, zelfs met meerdere instances in hetzelfde masker.

\ Ten slotte benadrukken Fig. 12 en Fig. 11 de generalisatiemogelijkheden van ons model. Het model extraheert nauwkeurig zowel menselijke onderwerpen als andere objecten uit achtergronden, waarmee de veelzijdigheid in verschillende scenario's en objecttypen wordt aangetoond.

\ Alle voorbeelden zijn internetafbeeldingen zonder ground-truth en het masker van r101fpn400e wordt gebruikt als begeleiding.

\

\

\

\

\

\

\

\

\

\

\

:::info Auteurs:

(1) Chuong Huynh, University of Maryland, College Park (chuonghm@cs.umd.edu);

(2) Seoung Wug Oh, Adobe Research (seoh,jolee@adobe.com);

(3) Abhinav Shrivastava, University of Maryland, College Park (abhinav@cs.umd.edu);

(4) Joon-Young Lee, Adobe Research (jolee@adobe.com).

:::

:::info Dit artikel is beschikbaar op arxiv onder CC by 4.0 Deed (Attribution 4.0 International) licentie.

:::

\