شبکه های Residual امروزه مورد توجه بسیاری از محققین داده قرار گرفته اند به طوری که بعد از معرفی آنها، معماری های مختلفی بر مبنای این شبکه ها ارائه شدند، به طور مثال میتوان به Wide ResNet،ResNet in ResNet،Stochastic Depth ResNet وغیره اشاره کرد وتصور برخی از محققین این است که برای داشتن یک شبکه خیلی عمیق نیاز است که حتما از ساختار Residual استفاده کرد.
کامل کردن این پست زمان زیادی برد و علتش این بود مجبور شدم مقاله هایی که در سال 2016 به فهرست مقاله های محبوب خودم در Mendeley اضافه کرده بودم را مجددا مرور کنم و خلاصه ای از آنها را برایتان بنویسم.
در پست قبلی دو عملیات کانولوشن به نام های کانولوشن نقطه ای(pointwise) و کانولوشن بر حسب کانال(depthwise) را بررسی کردیم و نشان دادیم که با جدا کردن کانولوشن در دو جهت مکانی و کانال تعداد پارامتر ها و هزینه محاسبات کاهش پیدا میکند.
مقاله ای که اخیرا توسط گوگل منتشر شد یک معماری جدید است به نام MobileNets که برای سیستم هایی تعبیه شده مثل موبایل بهینه سازی شده است. در هسته اصلی این معماری از کانولوشن بر حسب کانال تفکیک پذیر (depthwise separable convolution) برای ساخت یک شبکه عصبی سبک استفاده شده است .