ویژگی های تشخیص و توضیحات نقطه و توضیحات بر اساس حل و فصل نامتقارن و روش تطبیق متقابل متقابل

تطبیق تصویر را می توان به مشکل تشخیص نقطه ویژگی و تطبیق تصاویر تبدیل کرد. روشهای شبکه عصبی فعلی اثر تشخیص ضعیفی در نقاط ویژگی دارند و نمی توانند نقاط ویژگی پراکنده و یکنواخت را به اندازه کافی استخراج کنند. به منظور بهبود توانایی تشخیص و توضیحات نقاط ویژگی ، این مقاله یک شبکه تشخیص نقطه و توضیحات خود را بر اساس حلول نامتقارن ارائه می دهد: ACPOINT. به طور خاص ، اول ، PseudoLabels نقطه ویژگی از یک مجموعه داده بدون برچسب آموخته می شود ، و شبه از شبه برای یادگیری تحت نظارت استفاده می شود. سپس از مدل آموخته شده برای به روزرسانی شبه استفاده می شود. از طریق تکرارهای متعدد آموزش مدل و به روزرسانی برچسب ، برچسب های با کیفیت بالا و مدلهای با دقت بالا به صورت سازگار به دست می آیند. شبکه ویژگی نامتقارن Convolution Point (ACPOINT) یک ماژول حلقوی نامتقارن را برای آموزش همزمان سه شاخه Convolution برای یادگیری اطلاعات بیشتر از ویژگی ها اتخاذ می کند ، که از دو پیچش یک بعدی برای تقویت ستون فقرات مربع از هر دو جهت افقی و عمودی استفاده می کند و بازنمایی را بهبود می بخشد. از ویژگی های محلی در هنگام استنتاج. بر اساس شبکه ACPOINT ، یک روش تطبیق تصویر با وضوح متقابل ارائه شده است. آزمایشات نشان می دهد که مدل شبکه پیشنهادی ما از دقت محلی سازی بالاتری و توانایی تخمین هموگرافی در مجموعه داده HPatches برخوردار است.

1. معرفی

هدف تطبیق تصویر شناسایی و تراز کردن دو تصویر برای مطابقت در سطح پیکسل است. تصاویر برای مطابقت معمولاً از صحنه ها یا اهداف مشابه گرفته می شوند و دارای درجه خاصی از سازگاری هستند [1 ، 2]. طبق آمار انجمن تصویربرداری خودکار ، بیش از 40 ٪ برنامه های ادراک بصری به صحت و کارآیی تطبیق تصویر ، از جمله دید رایانه ، سنتز تصویر ، سنجش از دور ، امنیت نظامی و تشخیص پزشکی متکی هستند [3]. تطبیق تصویر را می توان به عنوان تشخیص و تطبیق نقاط ویژگی تصویر در نظر گرفت. این ماده به طور عمده به دو بخش تقسیم می شود: تشخیص نقاط ویژگی و بردارهای توصیف کننده و استفاده از توصیف کنندگان برای مطابقت با نقاط ویژگی مشابه در دو تصویر [4].

برای تصاویر، ویژگی ها ساختارهای خاصی هستند، مانند لبه های ساختمان، گوشه ها و اشیاء با شکل واضح. این ویژگی ها معمولاً به عنوان ویژگی های محلی شناخته می شوند، که معمولاً باید توسط بلوک های پیکسل مجاور در نزدیکی موقعیت نقطه مشخصه توصیف شوند [5]. یک روش هش جدید [6] پیشنهاد شده است که استراتژی یادگیری هش نامتقارن و ویژگی های چندوجهی فیوز تطبیقی را ترکیب می کند و کدهای باینری را به عنوان ویژگی های تصویر برای کارایی می آموزد. ویژگی ها را می توان به عنوان یک نمایش ساده از کل تصویر در نظر گرفت. استفاده از ویژگی ها برای تطبیق تصویر، محاسبات بی اثر، نویز و اعوجاج را کاهش می دهد. بردار توصیفگر به طور منحصر به فردی نقاط مشخصه را با ثبت ویژگی های جهتی و ظاهر محلی نقاط مشخصه، مانند خطوط ظاهری، توصیف می کند و توصیف باید دارای ویژگی هایی باشد که نسبت به تغییرات در روشنایی، ترجمه، مقیاس و چرخش درون صفحه تغییر ناپذیر باشد [7].].

در سال های اخیر، با توسعه مداوم شبکه های عصبی کانولوشن، در مقایسه با ویژگی های دست ساز سنتی، شبکه های عصبی می توانند مجموعه نقاط مشخصه پراکنده تر و یکنواخت تری را از تصاویر، و همچنین توصیف کننده های ویژگی با قابلیت های متمایز و قابل تطبیق تشخیص دهند [8، 9]. در حال حاضر، توسعه فناوری شبکه های عصبی همچنان بر مجموعه داده های مشروح دستی تکیه دارد [10]. معنای برچسب های مجموعه داده برای تشخیص اشیا یا وظایف طبقه بندی تصویر قطعی است. با این حال، مفهوم نقاط ویژگی تصویر از نظر معنایی مبهم است.

برای رفع کمبود برچسب های مجموعه داده، از مجموعه داده های برچسب شبه برای آموزش مدل استفاده می کنیم (شکل 1 را ببینید). برای اینکه برچسب های نقطه ویژگی مجموعه داده های شبه حقیقت-واقعیت ایجاد شده قابل تکرار و دقیق تر شوند، یک راه حل برچسب با نظارت خود بر اساس اطمینان و فاصله برچسب پیشنهاد می کنیم که فناوری تطبیق مدل نامیده می شود (شکل 1 را ببینید). میزان ارتباط بین برچسب های تولید شده توسط مدل های مختلف با اطمینان و با فاصله مکانی نسبت معکوس دارد. فناوری تطبیق مدل از فاصله دو بعدی و اطمینان برای دستیابی به جداسازی با چگالی کم نقاط ویژگی از طریق توزیع داده های برچسب استفاده می کند.

شکل 1 مروری بر آموزش خود نظارتی

اول ، از مدل پیش ساخته همراه با فناوری سازگاری هموگرافی برای برچسب زدن خودکار برچسب های نقطه ویژگی مجموعه داده های واقعی تصویر استفاده می شود [8] ، و سپس ، از فناوری سازگاری مدل برای تأیید برچسب های تولید شده توسط مدل های مختلف استفاده می شود تا برچسب های نقطه ویژگی را بدست آورید. با اعتماد به نفس بالاترمقایسه نقاط ویژگی بین مدلهای مختلف می تواند تکرارپذیری نقاط ویژگی را افزایش داده و باعث شود که برچسب های تولید شده از دقت بالاتری برخوردار باشند. به طور مشابه ، نمونه هایی با اعتماد به نفس بالا نیز توانایی مناسب مدل را بهبود می بخشند. سازگاری هموگرافی داخل intramodel و مقایسه برچسب متقاطع به تقویت توانایی تشخیص نقطه ویژگی مدل و همچنین قابلیت محلی سازی نقطه ویژگی در وضوح پایین تر کمک می کند.

ساختار سنتی شبکه به سبک VGG مسطح است و فاقد یک مسیر بازخورد مؤثر است و دستیابی به دقت ساختار پیچیده چندبورچ برای مدل شبکه دشوار است [11-13]. شبکه به سبک مسطح دقت کمی پایین دارد ، اما سرعت استنتاج بسیار مؤثر است. به طور مشابه ، ساختار پیچیده Multibranch باعث می شود که مدل برای اجرای و سفارشی سازی آن دشوار باشد و سرعت استنباط و استفاده از حافظه را کاهش می دهد [14 ، 15]. به منظور ترکیب صحت شبکه Multibranch و سرعت استنتاج ساختار شبکه مسطح ، این مقاله یک شبکه تشخیص و توضیحات نقطه ویژگی تصویر را بر اساس حلقوی نامتقارن ارائه می دهد: ACPOINT. این شبکه از یک رمزگذار مشترک نامتقارن مشترک ، رمزگشایی نقطه ویژگی و رمزگذار توصیف کننده تشکیل شده است. بلوک حلقوی نامتقارن (ACB) [14] رمزگذار و رمزگشگر حاوی دو پیچش یک بعدی و یک حلقه مربع است و با آموزش همزمان سه شاخه موازی ، اطلاعات بیشتر را می آموزد. در حین استنباط ، از دو پیچش یک بعدی برای تقویت ستون فقرات حلقوی مربع از هر دو جهت افقی و عمودی استفاده می شود و با ادغام سه شاخه ، توانایی بازنمایی حلقه مربع را برای ویژگی های محلی و سرعت استنباط بهبود می بخشد [13 ، 16].

ما سهم خود را به شرح زیر خلاصه می کنیم: (1) ما یک شبکه تشخیص و توضیحات نقطه را بر اساس حلقوی نامتقارن پیشنهاد می کنیم تا دقت مدل را بدون افزایش پیچیدگی زمان بهبود بخشیم.(2) ما یک روش سازگاری مدل خود نظارتی را برای ایجاد برچسب معیار پیشنهاد می کنیم و از طریق به روزرسانی های مداوم مداوم ، دقت برچسب را بهبود می بخشیم.(3) ما یک روش تطبیق تصویر با وضوح متقابل جدید را بر اساس نقاط ویژگی و توصیف کننده های شناسایی شده توسط مدل شبکه ACPOINT پیشنهاد می کنیم.

2. کار مرتبط

2. 1تطابق تصویر

روشهای همخوانی تصویر عمدتاً به دو نوع تقسیم می شوند. روشهای مبتنی بر منطقه از کل تصویر یا یک تصویر تصویر بریده شده به عنوان یک هدف مستقیم تطبیق استفاده می کنند. از روش همبستگی متقابل و روش اندازه گیری ضریب همبستگی برای تراز کردن تصویر در سطح پیکسل با به حداقل رساندن تفاوت در اطلاعات خاکستری تصویر استفاده می شود [17 ، 18]. روش تبدیل فوریه ، روش همبستگی فاز ، روش تبدیل والش و سایر روشهای تطبیق تصویر مبتنی بر تبدیل دامنه تصویر ابتدا اطلاعات تصویر را به دامنه تبدیل می کند و سپس تطبیق شباهت را بر روی تصویر در دامنه تبدیل شده انجام می دهد [19-211]. روشهای تطبیق تصویر مبتنی بر منطقه نسبت به شرایط تصویربرداری و تغییر شکل تصویر بسیار حساس هستند (به ویژه نیاز به همپوشانی بسیار زیاد جفت های تصویر) و از پیچیدگی محاسباتی بالایی برخوردار هستند ، که این امر قابلیت های کاربرد آنها را محدود می کند ، و مهمترین نقطه این است که تطبیق مبتنی بر منطقهروش فقط در مقیاس های یکسان یا مشابه قابل اجرا است و نمی تواند مشکل تطبیق تصاویر در مقیاس متقابل را حل کند.

الگوریتم های تطبیق تصویر مبتنی بر ویژگی ، تشخیص ویژگی های ساختاری قابل توجه جسمی از تصاویر ، از جمله نقاط ویژگی ، خطوط یا لبه ها و مناطق مورفولوژیکی برجسته را مطالعه می کنند. ویژگی های ساختاری شناسایی شده سپس همسان می شوند و یک عملکرد تحول برای تراز بقیه تصاویر تخمین زده می شود [22 ، 23]. برای کل چارچوب تطبیق مبتنی بر ویژگی ، ویژگی ها را می توان به عنوان یک نمایش ساده از کل تصویر در نظر گرفت ، که باعث کاهش محاسبات ناکارآمد و کاهش تأثیر نویز ، اعوجاج و سایر عوامل در تطبیق عملکرد می شود.

در حال حاضر دو روش مختلف برای تطبیق مبتنی بر ویژگی وجود دارد: تطبیق پراکنده با به حداقل رساندن خطای تراز و تطبیق متراکم با یافتن نقاط تطبیق مربوطه برای همه نقاط موجود در تصویر [24]. تطبیق پراکنده به نقاط ویژگی پراکنده متکی است و مکاتبات تطبیق با فیلتر کردن جفت های تطبیق قلمداد به دست می آید. تطبیق متراکم معمولاً فرض می کند که تصاویر در حوزه زمانی مشابه هستند ، مانند تخمین جریان نوری توالی های ویدیویی ، و بر اساس فرضیات صافی محلی [25]. تطبیق متراکم هنگامی دشوار است که جفت های تصویر از نظر رنگ متناقض باشند یا وقتی تعداد زیادی از مناطق بدون بافت تکرار می شوند. در مقایسه با تطبیق پراکنده ، تطبیق متراکم نیازهای دقیق تری برای جفت تصویر دارد و از نظر محاسباتی دشوارتر است.

2. 2تطبیق ویژگی محلی بدون ردیاب

روشهای بدون ردیاب مرحله ردیاب ویژگی را حذف کرده و به طور مستقیم مسابقات ویژگی متراکم تولید می کنند. Sift Flow [26] اولین روش تطبیق متراکم بدون آشکارساز سنتی است که از روش جریان نوری برای تحقق تطبیق متراکم بین دو تصویر از پیکسل تا پیکسل استفاده می کند. UCN [27] از روش مبتنی بر یادگیری برای مکاتبات متراکم استفاده کرد تا مستقیماً ویژگی ها را از دو تصویر استخراج کند و نزدیکترین جستجوی همسایه را در هر پیکسل در فضای ویژگی انجام دهد تا مسابقه پیش بینی شده را بدست آورد. NCNET [28] با تجزیه و تحلیل قوام محله تمام نقاط مربوطه ممکن بین یک جفت تصویر در یک فضای چهار بعدی ، از یک روش تطبیق متراکم پایان به انتها استفاده کرد. Superglue [29] از یک روش تطبیق محلی مبتنی بر یادگیری استفاده کرد ، که از شبکه عصبی نمودار (GNN) برای یادگیری تطبیق نقطه ویژگی استفاده می کند. Loftr [25] از CNN برای درمان هر پیکسل به عنوان نقاط ویژگی برای استخراج ویژگی های متراکم استفاده کرد و از میدان گیرنده جهانی تبدیل برای به دست آوردن تطبیق متراکم از مناطق با بافت پایین استفاده کرد. در این آثار ، تطبیق متراکم تحت تأثیر زمینه های گیرنده قرار می گیرد و مکاتبات ایجاد شده توسط مناطق همسایه فاقد استحکام کافی است. تطبیق متراکم هزینه های محاسباتی زیادی را متحمل می شود و به مدل های پیچیده تری متکی است.

2. 3تطبیق ویژگی محلی مبتنی بر ردیاب

ردیاب های کلیدی کلیدی ، مانند Sift [30] و Surf [31] ، از هیستوگرام شیب گرا (گراز) به عنوان توصیف کننده برای به حداکثر رساندن دقت تشخیص استفاده می کنند. SIFT می تواند به طور قابل اعتماد اشیاء را حتی در حضور نویز و انسداد جزئی شناسایی کند ، اما توصیف کننده های مبتنی بر گراز آن نیاز به محاسبه شیب شدت دارند و در نتیجه سرعت محاسباتی کم و برنامه های نامطلوب در زمان واقعی ایجاد می شود. گشت و گذار برای سرعت بهینه شده است و هنوز هم از نظر محاسباتی بسیار گران است. علاوه بر این ، برخی از توصیف کننده های مبتنی بر باینری مانند Orb ، Freak و Kaze بر روی اطلاعات شدت تصویر خود ، اطلاعات شدت اطراف کلیدها را به عنوان رشته ای از اعداد باینری رمزگذاری می کنند و از ویژگی های باینری استفاده می کنند [32-34]بشرروشهای سنتی فاقد توصیف اطلاعات جهانی است و تشخیص پیکسل به پیکسل مستعد ابتلا به امتیازات است و نقاط ویژگی به هم ریخته و متراکم دشواری تطبیق بعدی را افزایش می دهد.< Pan> ردیاب های کلیدی کلیدی ، مانند SIFT [30] و Surf [31] ، از هیستوگرام شیب گرا (HOGS) به عنوان توصیف کننده برای به حداکثر رساندن دقت تشخیص استفاده کنید. SIFT می تواند به طور قابل اعتماد اشیاء را حتی در حضور نویز و انسداد جزئی شناسایی کند ، اما توصیف کننده های مبتنی بر گراز آن نیاز به محاسبه شیب شدت دارند و در نتیجه سرعت محاسباتی کم و برنامه های نامطلوب در زمان واقعی ایجاد می شود. گشت و گذار برای سرعت بهینه شده است و هنوز هم از نظر محاسباتی بسیار گران است. علاوه بر این ، برخی از توصیف کننده های مبتنی بر باینری مانند Orb ، Freak و Kaze بر روی اطلاعات شدت تصویر خود ، اطلاعات شدت اطراف کلیدها را به عنوان رشته ای از اعداد باینری رمزگذاری می کنند و از ویژگی های باینری استفاده می کنند [32-34]بشرروشهای سنتی فاقد توصیف اطلاعات جهانی است ، و تشخیص پیکسل به پیکسل مستعد ابتلا به ویژگی های جمع آوری نقطه است ، و نقاط ویژگی به هم ریخته و متراکم ، دشواری تطبیق بعدی را افزایش می دهد. ردیاب های کلیدهای کلاسیک مانند SIFT [30] و Surf [[31] ، از هیستوگرام شیب گرا (گراز) به عنوان توصیف کننده برای به حداکثر رساندن دقت تشخیص استفاده کنید. SIFT می تواند به طور قابل اعتماد اشیاء را حتی در حضور نویز و انسداد جزئی شناسایی کند ، اما توصیف کننده های مبتنی بر گراز آن نیاز به محاسبه شیب شدت دارند و در نتیجه سرعت محاسباتی کم و برنامه های نامطلوب در زمان واقعی ایجاد می شود. گشت و گذار برای سرعت بهینه شده است و هنوز هم از نظر محاسباتی بسیار گران است. علاوه بر این ، برخی از توصیف کننده های مبتنی بر باینری مانند Orb ، Freak و Kaze بر روی اطلاعات شدت تصویر خود ، اطلاعات شدت اطراف کلیدها را به عنوان رشته ای از اعداد باینری رمزگذاری می کنند و از ویژگی های باینری استفاده می کنند [32-34]بشرروشهای سنتی فاقد توصیف اطلاعات جهانی است و تشخیص پیکسل به پیکسل مستعد ابتلا به امتیازات است و نقاط ویژگی به هم ریخته و متراکم دشواری تطبیق بعدی را افزایش می دهد.

ردیاب گوشه سریع [35] اولین الگوریتم است که به تشخیص سریع گوشه به عنوان یک مشکل یادگیری ماشین پرداخته است. نزدیک به روشهای تشخیص و توضیحات مبتنی بر پچ سنتی ، LIFT [36] از تشخیص پنجره کشویی شبیه به SIFT استفاده می کند و اولین خط لوله پایان به پایان است اما هنوز هم نیاز به نظارت بر حقیقت زمین ایجاد شده توسط SIFT کلاسیک و SFM دارد. Dosovitskiy و همکاران.[37] یک روش کلی تشخیص ویژگی را با استفاده از داده های بدون برچسب برای آموزش شبکه های عصبی حلقوی ارائه داد. یانگ و همکاران.[38] یک روش ثبت نام غیرقانونی را بر اساس همان ایده ارائه داد ، جایی که آنها از یک لایه شبکه VGG از پیش استفاده شده برای تولید یک توصیف کننده ویژگی چند مقیاس ضمن حفظ اطلاعات حلقوی و ویژگی های محلی استفاده کردند. Simo-Serra و همکاران.[39] از یک شبکه سیامی برای تمرکز بر روی نمونه های آموزش استفاده کرد که تشخیص دسته ها و جفت های تصویر ورودی دشوار بود و از خروجی نقشه برداری غیرخطی توسط CNN به عنوان توصیف کننده و فاصله اقلیدسی برای محاسبه شباهت و به حداقل رساندن از دست دادن لولای آن استفاده کرد. سیستم تشخیص نقطه علاقه TILDE [40] از یک اصل شبیه به سازگاری هموگرافی استفاده کرد. با این حال ، این رویکرد از قدرت شبکه های بزرگ عصبی کاملاً حلقوی سود نمی برد. Superpoint [8] از یک خط لوله خود سنج برای آموزش ردیاب ها و توصیف کنندگان به طور همزمان و از الگوریتم های سنتی بهتر در Hpatches استفاده کرد [41] ارزیابی با استفاده از تکنیک های سازگاری هموگرافی. این ویژگی ها یا توصیف کنندگان از توصیف کننده های دست ساز در کارهای تطبیق هندسی بهتر عمل می کنند. با این حال ، نقاط ویژگی استخراج شده توسط مدلهای شبکه عصبی موجود هنوز کافی و دقیق نیستند. این اختلافات در جدول 1 خلاصه شده است.

میز 1 مقایسه کیفی با روشهای مربوطه.

3. روش

3. 1نتیجه گیری نامتقارن

از همبستگی نامتقارن برای تقریب حلق مربع برای مدل و فشرده سازی پارامتر استفاده می شود. برخی از آثار قبلی نشان داده اند که یک متعارف

Convolution را می توان به یک

Convolution و یک Convolution [16] ، تجزیه کردن حلقوی مربع می تواند ضمن کاهش تعداد پارامترها و سرعت بخشیدن به آموزش شبکه ، ویژگی های جداشده بیشتری کسب کند.

ACNET [14] خاصیت پیچیدگی های نامتقارن را کشف کرد: پیچش های 2D سازگار با اندازه چندگانه ، همان پنجره کشویی را با همان گام به اشتراک می گذارند تا عملیات خطی را در همان ورودی انجام دهند و در نتیجه خروجی های همان وضوح. هنگامی که این هسته های حلقوی در موقعیت های مربوطه اضافه می شوند ، هسته Convolution Convolution به دست آمده همان نتیجه Convolution را به شرح زیر تولید می کند:

مستطیل ویژگی ورودی است و دو هسته خطی خطی است و افزودن عناصر اصلی هسته های حلقوی خطی در موقعیت های مربوطه است. تحت تأثیر شکل هسته حلقوی خطی ، ماتریس باید در طی فرآیند حلقوی لبه بریده یا پر شود.

3. 2بازپرداخت

3. 2. 1. فیوژن BN

عادی سازی دسته ای (BN) می تواند سرعت همگرایی شبکه را تسریع کند و آموزش شبکه را آسان تر می کند [42]. در حال حاضر ، بسیاری از مدل های عمیق از لایه BN برای عادی سازی دسته ای پس از لایه حلقوی برای بهبود توانایی تعمیم مدل استفاده می کنند. در طی فرایند آموزش ، لایه BN میانگین را می آموزد

از همه عناصر

در یک مینی بیت از ویژگی های ورودی و سپس میانگین را کم می کند و انحراف استاندارد را از عناصر ورودی تقسیم می کند. سرانجام ، تحول وابسته با پارامترهای یادگیری انجام می شود

برای تحقق ترجمه و مقیاس گذاری.

پس از آموزش ، پارامترهای هسته Convolution و لایه BN ثابت هستند و پارامترهای لایه BN با فرمول زیر نشان داده می شوند: