শক্তিশালী মাস্ক-গাইডেড ম্যাটিং: নয়েজি ইনপুট এবং অবজেক্ট বহুমুখিতা পরিচালনা

লিংকের সারণি

সারসংক্ষেপ এবং ১. ভূমিকা

1. সম্পর্কিত কাজসমূহ

2. MaGGIe

   ৩.১. দক্ষ মাস্কড গাইডেড ইনস্ট্যান্স ম্যাটিং

   ৩.২. ফিচার-ম্যাট টেম্পোরাল কনসিস্টেন্সি

3. ইনস্ট্যান্স ম্যাটিং ডেটাসেট

   ৪.১. ইমেজ ইনস্ট্যান্স ম্যাটিং এবং ৪.২. ভিডিও ইনস্ট্যান্স ম্যাটিং

4. পরীক্ষা-নিরীক্ষা

   ৫.১. ইমেজ ডেটার উপর প্রি-ট্রেনিং

   ৫.২. ভিডিও ডেটার উপর ট্রেনিং

5. আলোচনা এবং তথ্যসূত্র

\ সম্পূরক উপাদান

1. আর্কিটেকচারের বিস্তারিত

2. ইমেজ ম্যাটিং

   ৮.১. ডেটাসেট তৈরি এবং প্রস্তুতি

   ৮.২. ট্রেনিং বিস্তারিত

   ৮.৩. পরিমাণগত বিস্তারিত

   ৮.৪. প্রাকৃতিক ছবিতে আরো গুণগত ফলাফল

3. ভিডিও ম্যাটিং

   ৯.১. ডেটাসেট তৈরি

   ৯.২. ট্রেনিং বিস্তারিত

   ৯.৩. পরিমাণগত বিস্তারিত

   ৯.৪. আরো গুণগত ফলাফল

৮.৪. প্রাকৃতিক ছবিতে আরো গুণগত ফলাফল

চিত্র ১৩ চ্যালেঞ্জিং পরিস্থিতিতে আমাদের মডেলের কর্মক্ষমতা প্রদর্শন করে, বিশেষত চুলের অঞ্চলগুলি সঠিকভাবে রেন্ডার করায়। আমাদের ফ্রেমওয়ার্ক ধারাবাহিকভাবে বিস্তারিত সংরক্ষণে MGM⋆ কে ছাড়িয়ে যায়, বিশেষত জটিল ইনস্ট্যান্স ইন্টারঅ্যাকশনে। InstMatt এর সাথে তুলনায়, আমাদের মডেল অস্পষ্ট অঞ্চলে উন্নত ইনস্ট্যান্স বিচ্ছেদ এবং বিস্তারিত নির্ভুলতা প্রদর্শন করে।

\ চিত্র ১৪ এবং চিত্র ১৫ একাধিক ইনস্ট্যান্স জড়িত চরম ক্ষেত্রে আমাদের মডেল এবং পূর্ববর্তী কাজের কর্মক্ষমতা চিত্রিত করে। যদিও MGM⋆ ঘন ইনস্ট্যান্স পরিস্থিতিতে শব্দ এবং নির্ভুলতার সাথে লড়াই করে, আমাদের মডেল উচ্চ নির্ভুলতা বজায় রাখে। InstMatt, অতিরিক্ত ট্রেনিং ডেটা ছাড়াই, এই জটিল সেটিংসে সীমাবদ্ধতা দেখায়।

\ আমাদের মাস্ক-গাইডেড পদ্ধতির দৃঢ়তা চিত্র ১৬ তে আরও প্রদর্শিত হয়েছে। এখানে, আমরা MGM ভ্যারিয়েন্ট এবং SparseMat মাস্ক ইনপুটে অনুপস্থিত অংশগুলি পূর্বাভাসে যে চ্যালেঞ্জগুলির সম্মুখীন হয় তা তুলে ধরি, যা আমাদের মডেল সমাধান করে। তবে, এটি লক্ষ করা গুরুত্বপূর্ণ যে আমাদের মডেল একটি হিউম্যান ইনস্ট্যান্স সেগমেন্টেশন নেটওয়ার্ক হিসাবে ডিজাইন করা হয়নি। চিত্র ১৭ তে দেখানো হয়েছে, আমাদের ফ্রেমওয়ার্ক ইনপুট গাইডেন্স মেনে চলে, একই মাস্কে একাধিক ইনস্ট্যান্স থাকলেও সুনির্দিষ্ট আলফা ম্যাট পূর্বাভাস নিশ্চিত করে।

\ পরিশেষে, চিত্র ১২ এবং চিত্র ১১ আমাদের মডেলের সাধারণীকরণ ক্ষমতার উপর জোর দেয়। মডেলটি পটভূমি থেকে মানব বিষয় এবং অন্যান্য বস্তু উভয়ই সঠিকভাবে নিষ্কাশন করে, বিভিন্ন পরিস্থিতি এবং অবজেক্ট টাইপ জুড়ে এর বহুমুখিতা প্রদর্শন করে।

\ সমস্ত উদাহরণ হল ইন্টারনেট ছবি গ্রাউন্ড-ট্রুথ ছাড়া এবং r101fpn400e থেকে মাস্ক গাইডেন্স হিসাবে ব্যবহার করা হয়েছে।

\

\

\

\

\

\

\

\

\

\

\

:::info লেখকগণ:

(১) চুয়ং হুইন, ইউনিভার্সিটি অফ মেরিল্যান্ড, কলেজ পার্ক (chuonghm@cs.umd.edu);

(২) সেউং উগ ও, অ্যাডোব রিসার্চ (seoh,jolee@adobe.com);

(৩) অভিনব শ্রীবাস্তব, ইউনিভার্সিটি অফ মেরিল্যান্ড, কলেজ পার্ক (abhinav@cs.umd.edu);

(৪) জুন-ইয়াং লি, অ্যাডোব রিসার্চ (jolee@adobe.com)।

:::

:::info এই গবেষণাপত্রটি CC by 4.0 Deed (Attribution 4.0 International) লাইসেন্সের অধীনে arxiv এ উপলব্ধ।

:::

\