چگونه وزن ها را در یک ترانسفورماتور مقداردهی اولیه می کنید؟

سلام! به عنوان یک تامین کننده ترانسفورماتور، اغلب از من در مورد چگونگی مقداردهی اولیه وزن ها در ترانسفورماتور سؤال می شود. این یک موضوع بسیار مهم است، به ویژه برای کسانی که به یادگیری عمیق و کار با این مدل های شگفت انگیز می پردازند. بنابراین، بیایید با هم این فرآیند را بررسی کنیم.

خوب، اول از همه، چرا مقدار اولیه وزن اینقدر مهم است؟ خوب، یک ترانسفورماتور را به عنوان یک ماشین بزرگ و پیچیده در نظر بگیرید. وزنه ها مانند مهره ها و پیچ ها هستند که همه چیز را به هم متصل می کنند. اگر با وزنه های اشتباه شروع کنید، همه چیز ممکن است خراب شود. تنظیم اولیه وزن ضعیف می تواند منجر به همگرایی کند در طول تمرین شود، یا حتی بدتر از آن، ممکن است مدل شما اصلاً چیزی یاد نگیرد!

روش های مختلفی برای مقداردهی اولیه وزن ها در ترانسفورماتور وجود دارد که هر کدام مزایا و معایب خاص خود را دارند.

Xavier Initialization

یکی از شناخته شده ترین روش ها، مقداردهی اولیه Xavier است. در سال 2010 توسط Xavier Glorot و Yoshua Bengio پیشنهاد شد. ایده اصلی پشت Xavier این است که واریانس فعال‌سازی‌ها را تقریباً در تمام لایه‌های شبکه یکسان نگه دارد.

هنگامی که با یک ترانسفورماتور سر و کار دارید، وزن ها از یک توزیع گاوسی با یک واریانس خاص مقداردهی اولیه می شوند. برای یک لایه با (n_{in}) واحدهای ورودی و (n_{out}) واحدهای خروجی، وزن ها از (N(0, \frac{2}{n_{in}+n_{out}}) نمونه برداری می شوند.

این به جلوگیری از ناپدید شدن یا انفجار مشکل گرادیان کمک می کند. در یک ترانسفورماتور، که دارای لایه های متعدد شبکه های خود توجه و تغذیه است، شیب ها باید در طول انتشار پس از آن به آرامی جریان داشته باشند. مقداردهی اولیه Xavier نقطه شروع خوبی برای این کار فراهم می کند. به عنوان مثال، در مکانیسم چند سر خود توجهی یک ترانسفورماتور، اگر وزن ها به درستی با استفاده از Xavier مقداردهی اولیه شوند، شیب ها در هنگام عبور از لایه ها خیلی کوچک (ناپدید) یا خیلی بزرگ (منفجر) نمی شوند.

او اولیه سازی

سپس مقداردهی اولیه او وجود دارد. Kaiming He و همکارانش این روش را در سال 2015 ارائه کردند. این روش به طور خاص برای شبکه هایی طراحی شده است که از عملکرد فعال سازی واحد خطی اصلاح شده (ReLU) استفاده می کنند. و حدس بزنید چی؟ ترانسفورماتور از ReLU در شبکه فید - فوروارد خود استفاده می کند!

او وزن‌های اولیه را از یک توزیع گاوسی با واریانس (\frac{2}{n_{in}}) نمونه‌برداری می‌کند، جایی که (n_{in}) تعداد واحدهای ورودی به لایه است. از آنجایی که ReLU همه مقادیر منفی را صفر می‌کند، می‌تواند باعث شود که واریانس فعال‌سازی‌ها در مقایسه با سایر توابع فعال‌سازی سریع‌تر تغییر کند. مقداردهی اولیه او به مقابله با این اثر کمک می کند و تضمین می کند که شبکه می تواند به طور موثر یاد بگیرد.

فرض کنید در حال ساخت یک Transformer برای یک کار پردازش زبان طبیعی مانند طبقه بندی متن هستید. هنگامی که شما از مقداردهی اولیه He برای لایه‌های فید فوروارد ترانسفورماتور استفاده می‌کنید، به مدل اجازه می‌دهد تا روابط غیرخطی در داده‌های متنی را کارآمدتر یاد بگیرد.

مقدار دهی اولیه تصادفی

روش دیگر، مقداردهی اولیه تصادفی ساده است. شما فقط به طور تصادفی مقادیری را به وزن های موجود در محدوده خاصی اختصاص می دهید. برای مثال، می توانید وزن ها را از توزیع یکنواخت بین (0.01-) و (0.01) نمونه برداری کنید.

اگرچه ممکن است این روش ساده به نظر برسد، اما در برخی موارد می تواند کارساز باشد. با این حال، آن را کمی از ضربه - یا - از دست دادن. ممکن است لازم باشد سرعت یادگیری را در طول آموزش به دقت تنظیم کنید تا مطمئن شوید که مدل همگرا می شود. در یک Transformer، اگر مجموعه داده نسبتاً کوچکی دارید، مقداردهی اولیه تصادفی گاهی اوقات می تواند نقطه شروع خوبی باشد. اما برای مدل‌های در مقیاس بزرگ و کارهای پیچیده، اغلب بهتر است از یک روش اولیه پیچیده‌تر استفاده کنید.

وزنه های از قبل تمرین شده

در حال حاضر، یکی از محبوب ترین روند این روزها استفاده از وزنه های از پیش تمرین شده است. بسیاری از مدل های ترانسفورماتور از قبل آموزش دیده وجود دارد، مانند BERT، GPT، و غیره. این مدل ها بر روی مجموعه داده های عظیم آموزش داده شده اند، و وزن آنها دانش عمومی زیادی را در مورد زبان دریافت می کند.

اگر در حال ساخت یک مدل جدید مبتنی بر ترانسفورماتور هستید، می توانید با وزنه های از پیش آموزش دیده شروع کنید و سپس آنها را روی مجموعه داده خاص خود تنظیم کنید. این می تواند در زمان و منابع محاسباتی بسیار صرفه جویی کند. برای مثال، اگر روی یک کار تجزیه و تحلیل احساسات کار می‌کنید، می‌توانید وزن‌های از قبل آموزش‌دیده‌شده BERT را بگیرید و سپس مدل را روی مجموعه داده‌های برچسب‌گذاری‌شده احساسات خود تنظیم کنید. به این ترتیب، مدل قبلاً درک خوبی از ساختار زبان و معناشناسی دارد و می‌تواند به سرعت با وظیفه طبقه‌بندی احساسات سازگار شود.

به عنوان یک تامین کننده ترانسفورماتور، ما طیف گسترده ای از ترانسفورماتورهای با کیفیت بالا را ارائه می دهیم. این که آیا شما به دنبالترانسفورماتورهای توزیع روغن 10 کیلو ولت،ترانسفورماتورهای توزیع سه فاز روغن 20 کیلو ولت، یاترانسفورماتور خشک رزین ریخته گری اپوکسی، ما شما را تحت پوشش قرار داده ایم.

ترانسفورماتورهای ما برای مطابقت با بالاترین استانداردهای عملکرد و قابلیت اطمینان طراحی شده اند. و درست مانند مقداردهی اولیه وزن مناسب برای مدل ترانسفورماتور، ما مطمئن می شویم که تمام اجزای ترانسفورماتور ما به دقت طراحی و آزمایش شده است تا از عملکرد مطلوب اطمینان حاصل شود.

اگر در بازار ترانسفورماتورها هستید یا سؤالی در مورد مقداردهی اولیه وزن در مدل‌های ترانسفورماتور دارید (یا فقط می‌خواهید در مورد آخرین روندهای یادگیری عمیق صحبت کنید)، در تماس با آن تردید نکنید. ما همیشه اینجا هستیم تا به شما در رفع نیازهای تدارکاتی کمک کرده و بهترین راه حل ها را برای پروژه هایتان به شما ارائه دهیم.

مراجع

Glorot، X.، و Bengio، Y. (2010). درک دشواری آموزش شبکه های عصبی پیشخور عمیق در مجموعه مقالات سیزدهمین کنفرانس بین المللی هوش مصنوعی و آمار.
He, K., Zhang, X., Ren, S., & Sun, J. (2015). کاوش عمیق در یکسو کننده ها: عملکرد برتر در سطح انسانی در طبقه بندی تصاویر شبکه. در مجموعه مقالات کنفرانس بین المللی IEEE در بینایی کامپیوتر.