ڈیپ لرننگ کے طریقے اور اطلاقات

سادہ پرسیپٹرون (単純パーセプトロン) سب سے سادہ نیورل نیٹ ورک ہے جو صرف ان پٹ لیئر اور آؤٹ پٹ لیئر پر مشتمل ہوتا ہے، اور یہ صرف ایسے لکیری طور پر قابلِ تقسیم (線形分離可能) مسائل حل کر سکتا ہے جنہیں ایک سیدھی لکیر سے تقسیم کیا جا سکے۔ ایکسکلوسیو OR (排他的論理和، XOR) میں وہ نقاط جہاں آؤٹ پٹ 1 ہے اور وہ نقاط جہاں آؤٹ پٹ 0 ہے، وتری سمت میں باری باری آتے ہیں، اس لیے کوئی سیدھی لکیر انہیں الگ نہیں کر سکتی، اور سادہ پرسیپٹرون اسے ظاہر نہیں کر سکتا۔ ملٹی لیئر پرسیپٹرون (多層パーセプトロン)، جس میں ہڈن لیئر شامل کر کے حد کو موڑنا ممکن بنایا جاتا ہے، XOR کو ظاہر کر سکتا ہے، اور آپشن D اسی ملٹی لیئر پرسیپٹرون کی وضاحت ہے۔ پچھلے وقت کی حالت واپس بھیج کر ترتیب وار ڈیٹا کو سنبھالنا ریکرنٹ نیورل نیٹ ورک کی وضاحت ہے، اور فلٹر سرکا کر مقامی خصوصیات نکالنا کنوولوشنل لیئر (畳み込み層) کی وضاحت ہے۔

ڈیپ لرننگ میں تربیت ایک ایسا حساب ہے جس میں میٹرکس اور سمتیوں کی ضرب اور جمع بے شمار بار دہرائی جاتی ہے۔ GPU میں سادہ عمل انجام دینے والے بڑی تعداد میں چھوٹے کورز ہوتے ہیں اور یہ ایک ہی حساب کو بیک وقت متوازی طور پر چلانے کے لیے موزوں ہے، اس لیے یہ اس قسم کے حساب سے اچھی مطابقت رکھتا ہے۔ چند طاقتور کورز کے ساتھ زیادہ شاخوں والے عمل کو ترتیب وار تیزی سے انجام دینا CPU کی خوبی ہے، جس کے کورز زیادہ نہیں ہوتے۔ GPU کا فائدہ اس کی متوازیت کا درجہ (並列度) ہے، نہ کہ ذخیرہ گنجائش۔ یہ کوئی حقیقت نہیں کہ اس میں چین رول (連鎖律) کے لیے مخصوص سرکٹ موجود ہوتا ہے، اور ڈیپ لرننگ کے ٹینسر آپریشنز (テンソル演算) کے لیے خاص طور پر ڈیزائن کیا گیا TPU ہے۔

گریڈینٹ کے غائب ہونے کا مسئلہ (勾配消失問題) وہ مظہر ہے جس میں بیک پروپیگیشن کے دوران گریڈینٹ 0 کے قریب پہنچ جاتا ہے اور ان پٹ کی جانب کی لیئرز سیکھنا بند کر دیتی ہیں۔ چونکہ سگموئڈ فنکشن (シグモイド関数) کے مشتق کی زیادہ سے زیادہ قدر صرف 0.25 ہے، اس لیے ہر بار ایک لیئر پیچھے جانے پر 0.25 یا اس سے کم کا عدد ضرب ہوتا ہے، اور گہرے نیٹ ورک میں گریڈینٹ تقریباً باقی نہیں رہتا۔ اہم بات آؤٹ پٹ کی قدر خود نہیں بلکہ اس کے مشتق کی مقدار ہے۔ منفی ان پٹ کے لیے گریڈینٹ کا 0 ہو جانا اور سیکھنا رک جانا ReLU فنکشن کی کمزوری ہے، اور Leaky ReLU فنکشن اسی کا حل ہے۔ آؤٹ پٹس کے مجموعے کو 1 بنانے کے لیے نارملائز کرنا سافٹ میکس فنکشن (ソフトマックス関数) کا کام ہے۔

ReLU فنکشن (ReLU関数) ایک سادہ فنکشن ہے جو ان پٹ مثبت ہو تو اس کی قدر جوں کی توں لوٹاتا ہے اور منفی ہو تو 0 لوٹاتا ہے۔ مثبت حصے میں مشتق ہمیشہ 1 ہوتا ہے، اس لیے لیئرز میں پیچھے جاتے ہوئے بھی گریڈینٹ چھوٹا نہیں ہوتا، اور گریڈینٹ کے غائب ہونے کا مسئلہ (勾配消失問題) بہت حد تک کم ہو جاتا ہے۔ تاہم منفی حصے میں مشتق 0 ہوتا ہے، اس لیے جو یونٹ ایک بار منفی جانب چلا جائے وہ سیکھنا بند کر سکتا ہے، اور اسی لیے Leaky ReLU فنکشن بنایا گیا جو منفی جانب ہلکا سا ڈھلان دیتا ہے۔ 0 سے 1 میں سمیٹنے والا S شکل کا منحنی سگموئڈ فنکشن کی وضاحت ہے، -1 سے 1 کے اندر مبدا کے گرد متشاکل شکل tanh فنکشن کی وضاحت ہے، اور آؤٹ پٹس کے مجموعے کو 1 بنانے کے لیے نارملائز کرنا سافٹ میکس فنکشن کی وضاحت ہے۔

چونکہ ReLU فنکشن میں منفی حصے میں آؤٹ پٹ اور مشتق دونوں 0 ہوتے ہیں، اس لیے اگر کسی یونٹ کا ان پٹ مسلسل منفی رہے تو اس سے کوئی گریڈینٹ نہیں گزرتا اور وہ یونٹ دوبارہ کبھی نہیں سیکھتا۔ Leaky ReLU فنکشن (Leaky ReLU関数) منفی جانب بھی ہلکا سا ڈھلان دے کر اس بند گلی سے بچاتا ہے۔ مثبت حصے میں گریڈینٹ کا 1 ہونا ReLU فنکشن کا فائدہ ہے، خامی نہیں، اور یہی خاصیت گریڈینٹ کے غائب ہونے کو روکتی ہے۔ ایکٹیویشن فنکشن (活性化関数) کے لیے آؤٹ پٹس کا مجموعہ 1 نہ ہونا بالکل فطری بات ہے، اور جس آؤٹ پٹ لیئر کو احتمال کے طور پر پڑھنا ہو وہاں سافٹ میکس فنکشن استعمال کیا جاتا ہے۔ جن کے حساب میں ایکسپونینشل فنکشن شامل ہوتا ہے وہ سگموئڈ فنکشن اور tanh فنکشن ہیں؛ ReLU فنکشن کا حساب تو بلکہ ہلکا ہوتا ہے۔

سافٹ میکس فنکشن (ソフトマックス関数) پورے مجموعے کو اس طرح نارملائز کرتا ہے کہ آؤٹ پٹس کا مجموعہ بالکل 1 ہو، اس لیے اسے کثیر کلاسی درجہ بندی (多クラス分類)، جس میں تین یا زیادہ کلاسیں ہوں، کی آؤٹ پٹ لیئر میں رکھا جاتا ہے اور اس کے آؤٹ پٹس کو ہر کلاس سے تعلق کے احتمال کے طور پر پڑھا جاتا ہے۔ اسے لاس فنکشن کے طور پر کراس اینٹروپی (交差エントロピー) کے ساتھ ملانا بنیادی طریقہ ہے۔ بائنری درجہ بندی کی آؤٹ پٹ لیئر میں رکھ کر احتمال نکالنے والا سگموئڈ فنکشن ہے، اور ہڈن لیئرز کے ایکٹیویشن فنکشن کے طور پر وسیع پیمانے پر ReLU فنکشن اور tanh فنکشن استعمال ہوتے ہیں۔ ریگریشن (回帰) میں آؤٹ پٹ لیئر قدر کو جوں کا توں نکالتی ہے، اور لاس فنکشن کے طور پر اوسط مربع خطا فنکشن استعمال ہوتا ہے۔

چونکہ ریگریشن مسلسل قدر کی پیش گوئی کا مسئلہ ہے، اس لیے اوسط مربع خطا فنکشن (平均二乗誤差関数)، جو پیش گوئی اور حقیقی قدر کے فرق کا براہِ راست مربع لے کر اوسط نکالتا ہے، فطری انتخاب ہے۔ کراس اینٹروپی (交差エントロピー) احتمالی تقسیموں کے درمیان فرق ناپنے والا فنکشن ہے اور درجہ بندی کے مسائل میں استعمال ہوتا ہے؛ کثیر کلاسی درجہ بندی میں اسے آؤٹ پٹ لیئر کے سافٹ میکس فنکشن کے ساتھ ملانا بنیادی شکل ہے۔ Triplet Loss اینکر، مثبت مثال اور منفی مثال کے تین کے مجموعے میں فاصلے کا تعلق سیکھتا ہے، اور Contrastive Loss فاصلے کے ذریعے سیکھتا ہے کہ ڈیٹا کے دو ٹکڑے ایک جیسے ہیں یا نہیں؛ دونوں ایسے لاس فنکشن ہیں جن کا مقصد مماثلت ناپنے والی نمائندگی حاصل کرنا ہے۔ کام کی نوعیت کے مطابق لاس فنکشن (誤差関数) کا انتخاب کرنا اس درمیانی سطح کے موضوع (中項目) کا ہدف ہے۔

Triplet Loss ایک لاس فنکشن ہے جو ایک اینکر ڈیٹا پوائنٹ، اسی قسم کے ڈیٹا (مثبت مثال، 正例) اور مختلف قسم کے ڈیٹا (منفی مثال، 負例) کے تین کے مجموعے کو استعمال کرتا ہے، اور ماڈل کو اس طرح تربیت دیتا ہے کہ اینکر اور مثبت مثال کا فاصلہ اینکر اور منفی مثال کے فاصلے سے کم ہو جائے۔ یہ ایسی اسپیس بنانے میں استعمال ہوتا ہے جو فاصلے کے ذریعے مماثلت ظاہر کرے۔ دو احتمالی تقسیموں کے درمیان فرق ناپنا کل بیک-لائبلر ڈائیورجنس (カルバック・ライブラー情報量، KL ڈائیورجنس) ہے؛ پیش گوئی اور حقیقی قدر کے فرق کا مربع لے کر اوسط نکالنا اوسط مربع خطا فنکشن ہے؛ اور احتمالی تقسیموں کا فرق ناپ کر درجہ بندی میں وسیع پیمانے پر استعمال ہونا کراس اینٹروپی ہے۔ نوٹ کریں کہ Contrastive Loss، جو دو ڈیٹا پوائنٹس کے جوڑے پر یہ سکھاتا ہے کہ وہ ایک جیسے ہیں یا نہیں، بھی اسی درمیانی سطح کے موضوع (中項目) میں شامل ہے۔

بیک پروپیگیشن (誤差逆伝播法) ایک طریقہ ہے جو چین رول (連鎖律) — جو مرکب فنکشن کے مشتق کو اس کے اجزا کے مشتقات کی ضرب میں تقسیم کرتا ہے — استعمال کر کے آؤٹ پٹ کی جانب سے ان پٹ کی جانب پیچھے جاتے ہوئے ہر وزن کا گریڈینٹ مؤثر طریقے سے معلوم کرتا ہے۔ یہاں جو چیز معلوم ہوتی ہے وہ صرف گریڈینٹ ہے؛ اس گریڈینٹ کو استعمال کر کے وزن کو حقیقت میں حرکت دینا گریڈینٹ ڈیسنٹ (勾配降下法) کا کام ہے۔ یہ کہنا غلط ہوگا کہ بیک پروپیگیشن وزن اپڈیٹ کرتا ہے، اس لیے یہاں احتیاط ضروری ہے۔ رینڈم اعداد سے وزن ہلا کر بہتر سمت اپنانا ان تلاش کے طریقوں کا تصور ہے جو گریڈینٹ استعمال نہیں کرتے، اور ان پٹ کی جانب سے آؤٹ پٹ کی جانب حساب آگے بڑھانا فارورڈ پروپیگیشن (順伝播)، یعنی انفرنس (推論)، کا طریقہ ہے۔

کریڈٹ اسائنمنٹ کا مسئلہ (信用割当問題) یہ سوال ہے کہ آؤٹ پٹ پر ظاہر ہونے والی خطا کا کتنا حصہ راستے میں آنے والی کس لیئر کے کس یونٹ کے ذمے ڈالا جائے۔ بیک پروپیگیشن (誤差逆伝播法) کو اس حیثیت سے دیکھا جاتا ہے کہ اس نے چین رول کے ذریعے اس تقسیم کو قابلِ حساب بنا دیا۔ گریڈینٹ کے غائب ہونے کا مسئلہ (勾配消失問題) وہ مظہر ہے جس میں پیچھے جاتے ہوئے گریڈینٹ 0 کے قریب پہنچ جاتا ہے اور ان پٹ کی جانب کی لیئرز سیکھنا بند کر دیتی ہیں؛ گریڈینٹ کے پھٹ پڑنے کا مسئلہ (勾配爆発問題) اس کے برعکس مظہر ہے جس میں گریڈینٹ بہت بڑا ہو کر منتشر (diverge) ہو جاتا ہے — دونوں بیک پروپیگیشن کے اطلاق پر پیدا ہونے والے مسائل ہیں۔ ابعاد کی لعنت (次元の呪い) وہ مظہر ہے جس میں فیچرز کے ابعاد کی تعداد بڑھنے کے ساتھ درکار ڈیٹا کی مقدار تیزی سے بڑھتی ہے، اور نصاب (シラバス) میں اسے مشین لرننگ کے درمیانی سطح کے موضوع کے تحت رکھا گیا ہے۔

L1 ریگولرائزیشن (L1正則化) ریگولرائزیشن کی ایک قسم ہے جو وزن کی مطلق قدروں کے مجموعے کو جرمانے (ペナルティ) کے طور پر لاس فنکشن میں شامل کرتی ہے، اور یہ وزن کو بالکل 0 تک دھکیل دینے کا رجحان رکھتی ہے۔ نتیجتاً غیر استعمال شدہ فیچرز کے عددی سر (coefficients) 0 ہو کر خود بخود خارج ہو جاتے ہیں، جس سے فیچر کے انتخاب (特徴選択) کا اثر پیدا ہوتا ہے۔ اس حالت کو اسپارس (スパース) کہتے ہیں۔ وزن کے مربعوں کے مجموعے کو جرمانے کے طور پر استعمال کرنا L2 ریگولرائزیشن ہے، جو قدروں کو چھوٹا اور یکساں رکھتی ہے لیکن شاذ و نادر ہی بالکل 0 کرتی ہے۔ تربیت کے دوران یونٹس کو رینڈم طور پر غیر فعال کرنا ڈراپ آؤٹ (ドロップアウト) ہے، اور ویلیڈیشن خطا بگڑنے پر تربیت روک دینا ارلی اسٹاپنگ (早期終了) ہے — دونوں اوورفٹنگ (過学習) کا حل ہیں، لیکن مختلف طریقۂ کار سے۔

رِج ریگریشن (リッジ回帰) ایک طریقہ ہے جو لکیری ریگریشن (線形回帰) کو L2 ریگولرائزیشن (L2正則化) کے ساتھ ملاتا ہے۔ چونکہ وزن کے مربعوں کا مجموعہ جرمانے کے طور پر شامل کیا جاتا ہے، اس لیے مجموعی طور پر عددی سر چھوٹے رہتے ہیں، جس سے اوورفٹنگ روکی جاتی ہے۔ اس کے بجائے لکیری ریگریشن کو L1 ریگولرائزیشن کے ساتھ ملانا لاسو ریگریشن (ラッソ回帰) ہے، جو عددی سروں کو بالکل 0 کر دینے کا رجحان رکھتی ہے اور اسپارس حل دیتی ہے۔ L1 اور لاسو، اور L2 اور رِج کی مطابقت آسانی سے گڈمڈ ہو جاتی ہے، اس لیے انہیں ضرور جوڑوں کی صورت میں یاد کریں۔ L0 ریگولرائزیشن غیر صفر وزن کی تعداد ہی کو جرمانہ بنانے کا تصور ہے؛ چونکہ گنتی کا تفرق نہیں کیا جا سکتا، اس لیے اسے گریڈینٹ پر مبنی تربیت میں شامل کرنا مشکل ہے۔ ڈراپ آؤٹ نیورل نیٹ ورکس کے لیے ریگولرائزیشن کا ایک طریقہ ہے۔

ڈراپ آؤٹ (ドロップアウト) ایک طریقہ ہے جو تربیت کے ہر مرحلے پر ہڈن لیئر کے یونٹس کے ایک مقررہ تناسب کو رینڈم طور پر غیر فعال کرتا ہے۔ چونکہ ہر بار تھوڑی مختلف شکل کے نیٹ ورک پر تربیت ہوتی ہے، اس لیے ماڈل یونٹس کے کسی خاص امتزاج پر مکمل انحصار نہیں کر پاتا، اور بہت سے ماڈلز کا اوسط لینے جیسا اثر پیدا ہوتا ہے۔ یونٹس صرف تربیت کے دوران غیر فعال کیے جاتے ہیں؛ انفرنس کے وقت تمام یونٹس استعمال ہوتے ہیں۔ نام ملتا جلتا ہونے کے باوجود، نصاب (シラバス) میں ڈراپ آؤٹ کو آئٹم 14 یعنی ریگولرائزیشن (正則化) کے تحت رکھا گیا ہے، آئٹم 19 یعنی نارملائزیشن لیئرز (正規化層) کے تحت نہیں۔ منی بیچ کے اندر تقسیم کو درست کرنا بیچ نارملائزیشن (バッチ正規化) ہے، ڈیٹا کی مقدار بڑھانا ڈیٹا آگمینٹیشن (データ拡張) ہے، اور خطا بگڑنے پر روک دینا ارلی اسٹاپنگ ہے۔

منی بیچ تربیت (ミニバッチ学習) ایسا طریقہ ہے جو تربیتی ڈیٹا کو چند درجن سے چند سو مثالوں کے حصوں میں تقسیم کرتا ہے اور ہر حصے کے لیے گریڈینٹ کا حساب کر کے وزن اپڈیٹ کرتا ہے۔ اس کی خاصیت درمیانی ہے: اس کا فی مرحلہ گریڈینٹ آن لائن لرننگ (オンライン学習)، جو ایک ایک مثال پر اپڈیٹ کرتی ہے، جتنا بکھرا ہوا نہیں ہوتا، اور یہ بیچ تربیت (バッチ学習)، جو پورے ڈیٹا سے صرف ایک بار اپڈیٹ کرتی ہے، جتنی حسابی طور پر بھاری بھی نہیں ہوتی، اس لیے عملی کام میں زیادہ تر تربیت اسی طرح ہوتی ہے۔ اسٹوکاسٹک گریڈینٹ ڈیسنٹ (確率的勾配降下法، SGD) ڈیٹا کے صرف ایک حصے سے گریڈینٹ کا حساب کرتا ہے، اور اس اتار چڑھاؤ کا فائدہ یہ ہے کہ سیڈل پوائنٹس اور کم گہرے لوکل آپٹیمم سے نکلنا آسان ہو جاتا ہے۔ وزن اپڈیٹ نہ کرنا تربیت ہی نہیں، بلکہ محض انفرنس ہے۔

ایپوک (エポック) کا مطلب پورے تربیتی ڈیٹا کا ایک چکر مکمل کرنا ہے، اور اِٹریشن (イテレーション) کا مطلب وزن کو ایک بار اپڈیٹ کرنا ہے۔ یہ دونوں منی بیچ کے سائز کے ذریعے جڑے ہوئے ہیں: فی ایپوک اِٹریشنز کی تعداد ڈیٹا کی مثالوں کی تعداد کو منی بیچ کے سائز سے تقسیم کرنے کے برابر ہوتی ہے۔ مثال کے طور پر 3,000 مثالوں کو بیچ سائز 50 کے ساتھ چلایا جائے تو ایک ایپوک 60 اِٹریشنز کے برابر ہوگا۔ منی بیچ کا سائز بڑا کرنے سے ہر گریڈینٹ مستحکم ہوتا ہے لیکن فی ایپوک اپڈیٹس کی تعداد کم ہو جاتی ہے، جبکہ چھوٹا کرنے سے اپڈیٹس کی تعداد بڑھتی ہے لیکن اتار چڑھاؤ بھی بڑھ جاتا ہے۔ منی بیچ کا سائز اور لرننگ ریٹ دونوں ہائپر پیرامیٹرز (ハイパーパラメータ) ہیں جو انسان پہلے سے طے کرتا ہے، اور یہ ایپوک اور اِٹریشن سے الگ تصورات ہیں۔

سیڈل پوائنٹ (鞍点) ایسا نقطہ ہے جو ایک سمت سے وادی کی تہہ جیسا نظر آتا ہے لیکن دوسری سمت سے پہاڑ کی چوٹی جیسا، اور اس کا نام گھوڑے کی زین (saddle) کی شکل سے مشابہت کی وجہ سے ہے۔ ڈیپ لرننگ میں، جہاں پیرامیٹرز کی تعداد بہت زیادہ ہوتی ہے، یہ سمجھا جاتا ہے کہ ہر سمت میں بیک وقت وادی کی تہہ والے لوکل آپٹیمم (局所最適解) تک پہنچنے کے بجائے سیڈل پوائنٹ پر پھنس جانے کا امکان زیادہ ہے۔ پوری حد میں سب سے کم خطا والا نقطہ گلوبل آپٹیمم (大域最適解) ہے، اور صرف قریبی دائرے میں سب سے کم والا نقطہ لوکل آپٹیمم ہے۔ چونکہ اسٹوکاسٹک گریڈینٹ ڈیسنٹ (SGD) کے گریڈینٹ میں اتار چڑھاؤ ہوتا ہے، اس لیے یہ ایسے ٹھہراؤ سے زیادہ آسانی سے نکل سکتا ہے۔

Adam ایک آپٹیمائزیشن کا طریقہ (最適化手法) ہے جو مومینٹم (モーメンタム) کے تصور — جو پچھلی اپڈیٹ کی مقدار کو جمود (inertia) کے طور پر شامل کرتا ہے — کو RMSprop کے تصور کے ساتھ یکجا کرتا ہے، جو ہر پیرامیٹر کے لیے لرننگ ریٹ (学習率) خود بخود ایڈجسٹ کرتا ہے، اور یہ عملی کام میں ڈیفالٹ انتخاب کے طور پر وسیع پیمانے پر استعمال ہوتا ہے۔ لرننگ ریٹ کو ڈھالنے والا سلسلہ AdaGrad سے شروع ہوتا ہے؛ AdaGrad ان پیرامیٹرز کے لیے لرننگ ریٹ زیادہ کم کرتا ہے جن کی اپڈیٹس بڑی تھیں، لیکن اسے مسلسل کم کرتا ہی چلا جاتا ہے، اس لیے RMSprop نے ایکسپونینشل موونگ ایوریج کے ذریعے اس میں نرمی پیدا کی۔ اسی سلسلے میں AdaDelta، AdaBound اور AMSBound بھی شامل ہیں۔ وزن پر جرمانے ریگولرائزیشن کا معاملہ ہیں، اور گرڈ سرچ اور رینڈم سرچ ہائپر پیرامیٹر کی تلاش کا معاملہ ہیں — ان میں سے کوئی بھی خود اپڈیٹ کے اصول سے متعلق نہیں۔

نو فری لنچ تھیورم (ノーフリーランチの定理) یہ بیان کرتا ہے کہ ہر قابلِ تصور مسئلے پر اوسط لیا جائے تو کوئی ایسا ہمہ گیر الگورتھم موجود نہیں جو باقی سب سے بہتر کارکردگی دکھائے۔ لہٰذا طریقے کا انتخاب ہر مسئلے کے مطابق الگ سے سوچنا پڑتا ہے، اور کوئی ایک جواب ایسا نہیں جو ہمیشہ کام کرے۔ ماڈل بڑا کرنے سے خطا کا ایک بار بگڑ کر پھر کم ہونا ڈبل ڈیسنٹ (二重降下現象) ہے، جو اسی درمیانی سطح کے موضوع میں شامل ہے۔ فیچرز کے ابعاد بڑھنے کے ساتھ درکار ڈیٹا کا تیزی سے بڑھنا ابعاد کی لعنت (次元の呪い) ہے۔ اس بات کی کوئی ضمانت نہیں کہ لرننگ ریٹ کو مسلسل کم کرتے رہنے سے گلوبل آپٹیمم تک پہنچا جائے گا، کیونکہ یہ لوکل آپٹیمم یا سیڈل پوائنٹ پر پھنس سکتا ہے۔

رینڈم سرچ (ランダムサーチ) ایک طریقہ ہے جو ہائپر پیرامیٹرز کی تلاش کی حد کے اندر سے رینڈم طور پر نقاط منتخب کر کے انہیں آزماتا ہے۔ گرڈ سرچ (グリッドサーチ)، جو امیدواروں کو گرڈ کی شکل میں ترتیب دے کر ہر امتزاج کو مکمل طور پر آزماتی ہے، کے برعکس اس میں کم اثر رکھنے والے ہائپر پیرامیٹرز پر کوششیں ضائع ہونے کا امکان کم ہوتا ہے، اور اتنی ہی کوششوں میں اہم محوروں کو زیادہ باریکی سے جانچا جا سکتا ہے۔ انسان کی جانب سے پہلے سے طے کی جانے والی قدریں، جیسے لرننگ ریٹ، منی بیچ کا سائز اور لیئرز کی تعداد، ہائپر پیرامیٹرز (ハイパーパラメータ) ہیں۔ ویلیڈیشن خطا بگڑنے پر تربیت روک دینا ارلی اسٹاپنگ ہے، اور تربیت کے دوران یونٹس کو رینڈم طور پر غیر فعال کرنا ڈراپ آؤٹ ہے — ان میں سے کوئی بھی تلاش کا طریقہ نہیں۔

ڈبل ڈیسنٹ (二重降下現象) ایسا مظہر ہے جس میں ماڈل کا سائز یا تربیت کی مقدار بڑھاتے جانے پر ویلیڈیشن خطا ایک بار بگڑتی ہے، اور پھر مزید بڑھانے پر دوبارہ کم ہونا شروع ہو جاتی ہے۔ اس کا نام خطا کے منحنی کے دو بار نیچے آنے کی وجہ سے ہے۔ یہ اس سادہ وجدان کے خلاف ہے کہ ماڈل جتنا بڑا ہو اتنی زیادہ اوورفٹنگ ہو کر وہ بدتر ہو جاتا ہے، لیکن اسے نصاب کے آپٹیمائزیشن کے طریقوں (最適化手法) میں ان فریم ورکس میں سے ایک کے طور پر شامل کیا گیا ہے جو حالیہ تجربے کی وضاحت کرتے ہیں کہ بڑے ماڈل بعض اوقات بہتر نتائج دیتے ہیں۔ کریڈٹ اسائنمنٹ کا مسئلہ (信用割当問題) یہ سوال ہے کہ خطا کی ذمہ داری کس یونٹ کے ذمے ڈالی جائے، گریڈینٹ کے پھٹ پڑنے کا مسئلہ (勾配爆発問題) وہ مظہر ہے جس میں بیک پروپیگیشن کے دوران گریڈینٹ منتشر ہو جاتا ہے، اور عدم تغیر کا حصول (不変性の獲得) پولنگ لیئرز کا کردار ہے۔

کنوولوشنل لیئر (畳み込み層) ان پٹ پر ایک چھوٹا فلٹر سرکاتے ہوئے ایک ہی وزن کو بار بار استعمال کر کے مقامی خصوصیات نکالتی ہے۔ دو باتوں کی وجہ سے — یہ کہ یہ صرف قریبی عناصر سے جڑتی ہے، اور یہ کہ مقام کچھ بھی ہو یہی وزن استعمال کرتی ہے — یہ فُلی کنیکٹڈ لیئر (全結合層) کے مقابلے میں کہیں کم پیرامیٹرز سے تصاویر کو سنبھال سکتی ہے۔ اس دوبارہ استعمال کے ضمنی نتیجے کے طور پر، موضوع تصویر میں کہیں بھی ہو اسے ایک ہی خصوصیت کے طور پر پہچانا جا سکتا ہے۔ پچھلی لیئر کے ہر یونٹ سے جڑنا فُلی کنیکٹڈ لیئر کی وضاحت ہے، سیکھنے کے لیے وزن نہ رکھنا اور نمائندہ قدر لینا پولنگ لیئر کی وضاحت ہے، اور پچھلے وقت کی حالت واپس بھیجنا ریکرنٹ لیئر (回帰結合層) کی وضاحت ہے۔ ایک فلٹر گزارنے کے نتیجے کو فیچر میپ (特徴マップ) کہتے ہیں، جس چوڑائی سے اسے سرکایا جاتا ہے وہ اسٹرائیڈ (ストライド) ہے، اور اطراف کو بھرنا پیڈنگ (パディング) ہے۔

بیچ نارملائزیشن (バッチ正規化) ایک نارملائزیشن لیئر (正規化層) ہے جو منی بیچ کے اندر ایک ہی چینل کی قدروں کو ایک ساتھ اوسط 0 اور ویری اینس 1 پر لاتی ہے، جس سے تربیت مستحکم اور تیز ہوتی ہے۔ اس کی کمزوری یہ ہے کہ منی بیچ کا سائز چھوٹا ہو تو شماریاتی قدریں ناقابلِ اعتماد ہو جاتی ہیں۔ ایک ہی نمونے کے اندر پوری لیئر کی قدروں کو ایک ساتھ درست کرنا لیئر نارملائزیشن (レイヤー正規化) ہے، جو منی بیچ کے سائز سے متاثر نہیں ہوتی اور اس لیے ترتیب وار ڈیٹا سنبھالنے والے ماڈلز میں وسیع پیمانے پر استعمال ہوتی ہے۔ ان کے علاوہ انسٹینس نارملائزیشن اور گروپ نارملائزیشن بھی ہیں، اور یہی چار نصاب میں نارملائزیشن لیئرز کے تحت درج ہیں۔ نوٹ کریں کہ ورژن 1.1 میں اس درمیانی سطح کے موضوع کا نام ریگولرائزیشن لیئرز سے بدل کر نارملائزیشن لیئرز کر دیا گیا۔ L2 ریگولرائزیشن، جو وزن کے مربعوں کے مجموعے کو جرمانے کے طور پر استعمال کرتی ہے، اور ڈراپ آؤٹ، جو یونٹس کو غیر فعال کرتا ہے، نارملائزیشن لیئرز کے تحت نہیں بلکہ ریگولرائزیشن (正則化) کے تحت آتے ہیں۔

پولنگ لیئر (プーリング層) ایک ایسی لیئر ہے جو مقررہ سائز کے علاقے کو ایک نمائندہ قدر میں سمیٹتی ہے؛ اس کی قسمیں میکس پولنگ (最大値プーリング)، جو علاقے کی زیادہ سے زیادہ قدر لیتی ہے، اور ایوریج پولنگ (平均値プーリング)، جو اوسط لیتی ہے، ہیں۔ یہ نہ صرف ریزولوشن کم کر کے حساب کو ہلکا کرتی ہے، بلکہ موضوع چند پکسل سرک جائے تب بھی نمائندہ قدر کم ہی بدلتی ہے، جس سے ماڈل مقام کے سرکاؤ کے مقابلے میں مضبوط بنتا ہے۔ اسے عدم تغیر کا حصول (不変性の獲得) کہتے ہیں۔ گلوبل ایوریج پولنگ (GAP)، جو پورے فیچر میپ کا اوسط لے کر اسے ایک قدر میں بدل دیتی ہے، آخر میں فُلی کنیکٹڈ لیئر لگانے کے بجائے استعمال کی جائے تو پیرامیٹرز کی تعداد بہت کم کر سکتی ہے۔ پولنگ لیئر میں سیکھنے کے لیے وزن کا نہ ہونا بھی کنوولوشنل لیئر سے اس کا ایک فرق ہے۔ لیئرز پھلانگ کر جمع کرنا اسکپ کنکشن ہے، تقسیم کو یکساں کرنا نارملائزیشن لیئر ہے، اور دبا کر پھر دوبارہ بنانا آٹو اینکوڈر ہے۔

اسکپ کنکشن (スキップ結合) ایسی وائرنگ ہے جو درمیان کی لیئرز کو پھلانگ کر ان پٹ کو بغیر تبدیلی کے کئی لیئرز آگے کی کسی لیئر کے آؤٹ پٹ میں جمع کر دیتی ہے۔ بیک پروپیگیشن کے دوران گریڈینٹ نہ صرف بہت سی لیئرز سے گزرنے والے لمبے راستے سے بلکہ پھلانگنے والے چھوٹے راستے سے بھی ان پٹ کی جانب تک پہنچتا ہے، اس لیے گہرائی تک تہہ در تہہ لیئرز رکھنے پر بھی گریڈینٹ کے غائب ہونے کا امکان کم ہوتا ہے۔ اس تصور کو اپنا کر 100 سے زیادہ لیئرز کی گہرائی کو حقیقت بنانے والی نمایاں مثال ResNet ہے، اور نصاب میں اسکپ کنکشنز کے درمیانی سطح کے موضوع کے تحت رکھا گیا واحد کلیدی لفظ ResNet ہے۔ یونٹس کو رینڈم طور پر غیر فعال کرنا ڈراپ آؤٹ ہے، اور ہر لیئر کی تقسیم کو یکساں کرنا نارملائزیشن لیئر ہے — دونوں اسکپ کنکشن سے الگ طریقۂ کار ہیں۔ اسکپ کنکشن وزن کی تعداد کم کرنے کا طریقہ بھی نہیں ہے۔

LSTM میں CEC نامی ایک یادداشتی راستہ ہوتا ہے جو معلومات محفوظ رکھتا ہے، اور یہ تین گیٹس کے ذریعے اس میں آنے جانے والی معلومات کو کنٹرول کرتا ہے: ان پٹ گیٹ (入力ゲート)، جو طے کرتا ہے کہ کیا لکھا جائے؛ فارگیٹ گیٹ (忘却ゲート)، جو طے کرتا ہے کہ کیا خارج کیا جائے؛ اور آؤٹ پٹ گیٹ (出力ゲート)، جو طے کرتا ہے کہ کیا باہر بھیجا جائے۔ اس طریقۂ کار سے طویل فاصلے کے انحصار کو برقرار رکھنا ممکن ہوتا ہے، اور اس نے ریکرنٹ نیورل نیٹ ورکس کے گریڈینٹ کے غائب ہونے کے مسئلے کو بہت حد تک کم کر دیا۔ GRU، LSTM کی ایک سادہ شکل ہے جس میں صرف دو گیٹس ہیں، ری سیٹ گیٹ (リセットゲート) اور اپڈیٹ گیٹ (更新ゲート)۔ اس کے پیرامیٹرز کم ہیں اور حساب ہلکا ہے، لیکن یہ ہمیشہ LSTM سے بہتر کارکردگی نہیں دکھاتا۔ یہ کہ گیٹس کی تعداد 3 اور 2 ہے، اور یہ کہ CEC، LSTM کی جانب کی اصطلاح ہے، وہ فرق ہے جو بار بار پوچھا جاتا ہے۔

جورڈن نیٹ ورک (ジョルダンネットワーク) ریکرنٹ نیورل نیٹ ورک کی ایک قسم ہے جو آؤٹ پٹ لیئر کے آؤٹ پٹ کو اگلے وقت کی ہڈن لیئر میں ان پٹ کے طور پر واپس بھیجتا ہے۔ اس کے برعکس، ہڈن لیئر کے آؤٹ پٹ کو اگلے وقت کی ہڈن لیئر میں واپس بھیجنا ایلمن نیٹ ورک (エルマンネットワーク) ہے، اور کیا واپس بھیجا جاتا ہے، یہی دونوں کا فرق ہے۔ دونوں ٹائم سیریز ڈیٹا کو ترتیب برقرار رکھتے ہوئے سنبھالنے کی ساختیں ہیں، اور ان کی تربیت میں BPTT استعمال ہوتا ہے، جو نیٹ ورک کو وقت کی سمت میں کھول کر پھر بیک پروپیگیشن لاگو کرتا ہے۔ لمبی ترتیب میں گریڈینٹ کے غائب ہونے اور گریڈینٹ کے پھٹ پڑنے کے مسائل شدت سے ظاہر ہوتے ہیں، اس لیے گیٹ میکانزم رکھنے والے LSTM اور GRU استعمال کیے جاتے ہیں۔ لیئرز پھلانگ کر جمع کرنا اسکپ کنکشن ہے، جس کا وقت کی سمت سے کوئی تعلق نہیں۔

Attention ایک طریقۂ کار ہے جو وزن کی صورت میں یہ حساب لگاتا ہے کہ ان پٹ میں کہاں توجہ دی جائے، اور اسے کوئری، کی اور ویلیو (クエリ・キー・バリュー) کے ذریعے ظاہر کیا جاتا ہے۔ Attention کے طریقوں میں سے Source-Target Attention ایسی صورت میں، جیسے ترجمہ، جہاں ان پٹ کی ترتیب اور آؤٹ پٹ کی ترتیب الگ ہوں، دو الگ الگ ترتیبوں کے درمیان تعلق کی شدت کا حساب لگاتا ہے۔ ایک ہی ترتیب کے اندر عناصر کے باہمی تعلق کا حساب لگانا Self-Attention ہے، جو Transformer کا مرکزی جز ہے۔ ہر مقام کے لیے منفرد سگنل شامل کر کے الفاظ کی ترتیب دینا پوزیشنل اینکوڈنگ (位置エンコーディング) ہے، اور توجہ دینے کے متعدد طریقے متوازی طور پر چلا کر نتائج کو یکجا کرنا Multi-Head Attention ہے — دونوں Transformer کو بنانے والے الگ الگ اجزا ہیں۔

Transformer ایک سیکوئنس ماڈل ہے جو ریکرنٹ کنکشنز (回帰結合) کے بغیر بنیادی طور پر Attention سے بنا ہے۔ چونکہ اسے پچھلے وقت کے حساب کا انتظار نہیں کرنا پڑتا، اس لیے یہ پوری ترتیب کو متوازی طور پر پروسیس کر سکتا ہے، اور دور دور کے الفاظ کے درمیان تعلق کو ایک ہی حساب میں براہِ راست پکڑ سکتا ہے۔ تاہم متوازی پروسیسنگ سے الفاظ کی ترتیب کی معلومات ختم ہو جاتی ہیں، اس لیے الفاظ کی ترتیب دینے کے لیے پوزیشنل اینکوڈنگ (位置エンコーディング) استعمال کی جاتی ہے، جو ہر مقام کے لیے منفرد سگنل شامل کرتی ہے۔ لوگوں کو الجھانے والا نکتہ یہ ہے کہ Transformer ریکرنٹ نیورل نیٹ ورک کی کوئی قسم نہیں ہے۔ ریکرنٹ کنکشنز کو تہہ در تہہ رکھ کر پچھلے وقت کی حالت آگے منتقل کرنا RNN کی وضاحت ہے، کنوولوشن اور پولنگ کو تہہ در تہہ رکھنا CNN کی وضاحت ہے، اور دبا کر پھر دوبارہ بنانا آٹو اینکوڈر کی وضاحت ہے۔

ویری ایشنل آٹو اینکوڈر (変分オートエンコーダ، VAE) دبائی گئی نمائندگی کو ایک نقطے کے طور پر نہیں بلکہ احتمالی تقسیم (確率分布) کے طور پر سیکھتا ہے۔ اس تقسیم سے ایک قدر نکال کر اسے دوبارہ بنایا جائے تو ایسا نیا ڈیٹا بنایا جا سکتا ہے جو تربیتی ڈیٹا میں موجود نہیں تھا، اس لیے اسے جنریٹو ماڈل (生成モデル) سمجھا جاتا ہے۔ کم ابعاد میں دبا کر پھر دوبارہ بنانا، اور درست جواب کے لیبلز کے بغیر تربیت پا سکنا، عام آٹو اینکوڈر کی بھی مشترکہ خصوصیات ہیں، صرف VAE کی خصوصیات نہیں۔ گہرے نیٹ ورک کی ابتدائی قدریں بنانے کے لیے ہر لیئر کو ایک ایک کر کے ترتیب وار تربیت دینا اسٹیکڈ آٹو اینکوڈر (積層オートエンコーダ) کے ذریعے پری ٹریننگ (事前学習) ہے۔ نصاب میں VQ-VAE، info VAE اور β-VAE بھی اسی درمیانی سطح کے موضوع کے تحت درج ہیں۔

Mixup ایک ڈیٹا آگمینٹیشن (データ拡張) کا طریقہ ہے جو دو تصاویر کو ایک خاص تناسب سے ایک دوسرے پر چڑھاتا ہے اور ان کے درست جواب کے لیبلز (正解ラベル) کو بھی اسی تناسب سے ملا کر نیا تربیتی ڈیٹا بناتا ہے۔ ملتے جلتے نام والا CutMix تصاویر کو ایک دوسرے پر نہیں چڑھاتا بلکہ دو تصاویر کے حصے کاٹ کر جوڑ کر ایک تصویر بناتا ہے۔ تصویر کے ایک حصے کو ٹھوس مستطیل سے رنگنا Cutout یا Random Erasing ہے، دائیں بائیں پلٹنا Random Flip ہے، اور اس کا ایک حصہ کاٹنا Crop ہے۔ ان کے علاوہ Rotate، جو تصویر کو گھماتا ہے، Brightness، جو روشنی بدلتا ہے، Contrast، جو کنٹراسٹ بدلتا ہے، اور RandAugment، جو خود بخود طے کرتا ہے کہ کون سی تبدیلیاں کتنی لاگو کی جائیں، بھی ہیں، اور متن کے لیے paraphrasing اور noising درج ہیں۔ ہر صورت میں ضروری ہے کہ ایسی تبدیلی منتخب نہ کی جائے جو معنی کو بگاڑ دے۔

GoogLeNet ایک ماڈل ہے جس نے Inception ماڈیول (Inceptionモジュール) استعمال کیا، جو مختلف سائز کے فلٹرز کو متوازی طور پر لاگو کر کے نتائج کو یکجا کرتا ہے، اور پیرامیٹرز کی تعداد کم رکھتے ہوئے گہری ساخت حاصل کی۔ VGG نے صرف چھوٹے 3 ضرب 3 کنوولوشنز کو تہہ در تہہ رکھ کر سادہ اور گہری ساخت اختیار کی، اور GoogLeNet کے ساتھ اسی 2014 کے ILSVRC میں سرفہرست درجوں میں آیا۔ ResNet نے لیئرز کو پھلانگنے والے اسکپ کنکشنز (スキップ結合) کے ذریعے 100 سے زیادہ لیئرز کی گہرائی ممکن بنائی، اور AlexNet نے 2012 کا ILSVRC جیتا، جس میں ReLU فنکشن، ڈراپ آؤٹ اور GPU تربیت کو یکجا کیا گیا۔ اس کے بعد یہ سلسلہ Wide ResNet، DenseNet، SENet، EfficientNet، MobileNet وغیرہ تک پھیلا، اور Vision Transformer، جو کنوولوشن کے بجائے Transformer کا تصور لاتا ہے، بھی شامل ہے۔

YOLO اور SSD ایک مرحلے والے آبجیکٹ ڈیٹیکشن (物体検出) ماڈلز ہیں جو امیدوار علاقوں (候補領域) کا انتخاب اور کلاس کا تعین انفرنس کے ایک ہی مرحلے میں ایک ساتھ کرتے ہیں، اور ان کی خوبی رفتار ہے۔ اس کے برعکس R-CNN سے شروع ہو کر Fast R-CNN اور Faster R-CNN تک ترقی کرنے والا سلسلہ دو مرحلوں والا طریقہ ہے جو پہلے امیدوار علاقے تجویز کرتا ہے اور پھر ان کی درجہ بندی کرتا ہے؛ یہ سست ہے لیکن زیادہ درستگی حاصل کرنے کا رجحان رکھتا ہے۔ ہر پکسل کو کلاس تفویض کرنا سیمینٹک سیگمنٹیشن (セマンティックセグメンテーション) ہے، جس کی نمایاں مثالیں FCN، SegNet، U-Net، PSPNet اور DeepLab ہیں۔ انسٹینس سیگمنٹیشن (インスタンスセグメンテーション)، جو ایک ہی کلاس کی اشیا کو انفرادی سطح تک الگ کرتی ہے، Mask R-CNN انجام دیتا ہے، اور پوز ایسٹیمیشن (姿勢推定)، جو انسانی جسم کے جوڑوں کے مقامات کا اندازہ لگاتی ہے، کی نمائندگی OpenPose کرتا ہے۔

BERT ایک لینگویج ماڈل (言語モデル) ہے جو Transformer کا اینکوڈر (エンコーダ) استعمال کرتا ہے، اور اس کی امتیازی خصوصیت یہ ہے کہ اسے جملے میں دونوں سمتوں، آگے اور پیچھے، سے سیاق و سباق دیکھتے ہوئے پری ٹرین (事前学習) کیا جاتا ہے۔ اس نے بڑی مقدار میں متن پر پری ٹریننگ کر کے پھر انفرادی کاموں کے مطابق ڈھالنے کے طریقے کو عام کیا۔ ریکرنٹ لیئرز کو تہہ در تہہ رکھ کر الفاظ کو ترتیب سے پڑھنا ریکرنٹ نیورل نیٹ ورک استعمال کرنے والا ماڈل ہے؛ Transformer میں ریکرنٹ کنکشنز نہیں ہوتے۔ تصاویر اور کیپشنز کو ایک ہی ویکٹر اسپیس میں نقش کرنا CLIP ہے، جسے نصاب میں ملٹی موڈل (マルチモーダル) کے تحت رکھا گیا ہے۔ شور شامل کرنے کے عمل کو الٹی سمت میں طے کر کے ڈیٹا بنانا Diffusion Model ہے، جو ڈیٹا جنریشن کے درمیانی سطح کے موضوع کے تحت آتا ہے۔

CBOW اردگرد ظاہر ہونے والے الفاظ سے مرکزی لفظ کی پیش گوئی کرنے کی تربیت پاتا ہے۔ اس کا الٹ — مرکزی لفظ سے اردگرد کے الفاظ کی پیش گوئی کی تربیت — اسکپ گرام (スキップグラム) ہے، اور چونکہ سمت الٹی ہے اس لیے دونوں کو گڈمڈ نہ کرنے میں احتیاط کریں۔ دونوں word2vec کے طریقے ہیں، اور ان کا مقصد ڈسٹری بیوٹڈ ریپریزنٹیشن (分散表現) حاصل کرنا ہے، جو الفاظ کو گھنے (dense) سمتیوں کے طور پر ظاہر کرتی ہے۔ ون ہاٹ ویکٹر (ワンホットベクトル)، جو ہر لفظ کو ایک بُعد تفویض کرتا ہے، کے ابعاد ذخیرۂ الفاظ کے سائز جتنے ہوتے ہیں اور یہ الفاظ کے درمیان قربت ظاہر نہیں کر سکتا، جبکہ ڈسٹری بیوٹڈ ریپریزنٹیشن میں ملتے جلتے معنی والے الفاظ ویکٹر اسپیس میں ایک دوسرے کے قریب رکھے جاتے ہیں۔ یہ پیش گوئی کرنا کہ جملہ مثبت ہے یا منفی، سینٹیمنٹ اینالیسس (感情分析) نامی اطلاقی کام ہے، الفاظ کی نمائندگی کی تربیت کے طریقے کا معاملہ نہیں۔

RLHF ایک طریقہ ہے جو انسانوں کی دی ہوئی پسند کی درجہ بندی سے ریوارڈ ماڈل (報酬モデル) بناتا ہے اور پھر اسے انعام کے طور پر استعمال کر کے ری انفورسمنٹ لرننگ (強化学習) کے ذریعے ماڈل کو ایڈجسٹ کرتا ہے۔ یہ لینگویج ماڈلز کو ایڈجسٹ کرنے کے لیے مشہور ہے، لیکن ایک حیران کن اور یاد رکھنے کے قابل نکتہ یہ ہے کہ نصاب میں اسے نیچرل لینگویج پروسیسنگ کے بجائے ڈیپ ری انفورسمنٹ لرننگ (深層強化学習) کے درمیانی سطح کے موضوع کے تحت رکھا گیا ہے۔ DQN ڈیپ ری انفورسمنٹ لرننگ کا ایک نمایاں طریقہ ہے جو ایکشن ویلیو فنکشن (行動価値関数) کو نیورل نیٹ ورک سے تخمینہ کرتا ہے، PPO پالیسی کی تربیت کا ایک طریقہ ہے جو پالیسی اپڈیٹ کی مقدار کو محدود کر کے تربیت کو مستحکم کرتا ہے، اور A3C ایک طریقہ ہے جو متعدد ماحول متوازی طور پر چلا کر تربیت آگے بڑھاتا ہے۔ Double DQN، ڈوئلنگ نیٹ ورکس، Rainbow، Ape-X اور Agent57 بھی اسی درمیانی سطح کے موضوع کے تحت درج ہیں۔

Diffusion Model ایک جنریٹو ماڈل (生成モデル) ہے جو ڈیٹا میں بتدریج شور (ノイズ) شامل کرنے کے عمل کو الٹی سمت میں طے کر کے، شور سے شروع کرتے ہوئے مطلوبہ ڈیٹا بناتا ہے۔ اس کا طریقۂ کار جنریٹو ایڈورسیریل نیٹ ورک (敵対的生成ネットワーク، GAN)، جسے دو نیٹ ورکس کو ایک دوسرے سے مقابلہ کروا کر تربیت دی جاتی ہے، سے بالکل مختلف ہے، اس لیے یہ GAN کی کوئی قسم نہیں۔ DCGAN، CycleGAN اور Pix2Pix، GAN سے ماخوذ ہیں۔ متعدد زاویوں سے لی گئی تصاویر سے سہ جہتی ظاہری شکل سیکھنا NeRF ہے، اور دبائی گئی نمائندگی کو احتمالی تقسیم کے طور پر سیکھنا ویری ایشنل آٹو اینکوڈر (VAE) ہے۔ یہ بات ذہن میں رکھنے کے قابل ہے کہ GAN، VAE اور Diffusion Model ساتھ ساتھ رکھے گئے الگ الگ سلسلے ہیں۔

ٹرانسفر لرننگ (転移学習) ایک طریقہ ہے جو پری ٹرینڈ ماڈل (事前学習済みモデル) کے خصوصیات نکالنے والے حصے کو مقرر (فکس) رکھتے ہوئے بنیادی طور پر صرف آؤٹ پٹ لیئر کے اردگرد کے حصے کو نئے کام پر تربیت دیتا ہے۔ فائن ٹیوننگ (ファインチューニング) پورے وزن کو، یا ان کے وسیع حصے کو، نئے ڈیٹا پر دوبارہ تربیت دیتی ہے؛ اس کے لیے زیادہ ڈیٹا اور حساب درکار ہوتا ہے، لیکن جب ہدف کا شعبہ پری ٹریننگ کے ڈیٹا سے بہت مختلف ہو تو یہ بہتر کارکردگی دکھانے کا رجحان رکھتی ہے۔ فائن ٹیوننگ میں کیٹاسٹروفک فارگیٹنگ (破滅的忘却) ہو سکتی ہے، جس میں اصل ماڈل کی صلاحیتیں ضائع ہو جاتی ہیں۔ دونوں طریقے پری ٹرینڈ ماڈل کو بنیاد مانتے ہیں؛ کوئی بھی شروع سے تربیت نہیں دیتا۔ نہ ہی ان کے درمیان انتخاب اس بات سے طے ہوتا ہے کہ کس قسم کا ڈیٹا سنبھالا جا رہا ہے۔

فاؤنڈیشن ماڈل (基盤モデル) سے مراد ایسا بڑا ماڈل ہے جسے بڑی مقدار کے ڈیٹا پر پری ٹرین کیا گیا ہو اور جسے مختلف ڈاؤن اسٹریم کاموں کے لیے دوبارہ استعمال کیا جا سکے؛ نصاب میں اسے آئٹم 32 یعنی ملٹی موڈل (マルチモーダル) کے تحت CLIP، DALL-E، Flamingo، Unified-IO اور zero-shot کے ساتھ رکھا گیا ہے۔ جنریٹو AI (生成AI) سے متعلق اصطلاحات کی جگہیں بکھری ہوئی ہیں: لارج لینگویج ماڈل (大規模言語モデル، LLM) آئٹم 27 یعنی نیچرل لینگویج پروسیسنگ کے تحت، اور RLHF آئٹم 29 یعنی ڈیپ ری انفورسمنٹ لرننگ کے تحت شامل ہے۔ آئٹم 31 یعنی ٹرانسفر لرننگ اور فائن ٹیوننگ کے ساتھ درج اصطلاحات few-shot، one-shot، سیلف سپروائزڈ لرننگ، پری ٹرینڈ ماڈلز، کیٹاسٹروفک فارگیٹنگ وغیرہ ہیں۔ یہ یاد رکھنا کہ ہر اصطلاح کس درمیانی سطح کے موضوع کے تحت رکھی گئی ہے، دائرۂ کار کی مجموعی تصویر سمجھنا آسان بنا دیتا ہے۔

SHAP ایک طریقہ ہے جو کوآپریٹو گیم تھیوری (協力ゲーム理論) میں استعمال ہونے والے تصورات مستعار لے کر پیش گوئی میں ہر فیچر کے حصے (寄与) کو منصفانہ طور پر تقسیم کر کے دکھاتا ہے۔ ہیٹ میپ جیسی شکل میں یہ دکھانا کہ ماڈل نے فیصلہ کرنے کے لیے تصویر میں کہاں دیکھا، CAM یا Grad-CAM ہے؛ جان بوجھ کر کسی فیچر کی قدریں آپس میں بدل کر درستگی میں کمی کی مقدار سے اہمیت ناپنا Permutation Importance ہے؛ اور کسی انفرادی پیش گوئی کے قریب ایک سادہ ماڈل فٹ کر کے اس کے عددی سروں سے وضاحت کرنا LIME ہے۔ یہ سب نصاب میں آئٹم 33 یعنی ماڈل کی قابلِ تشریح ہونے کی صلاحیت (モデルの解釈性) کے تحت شامل ہیں، اور فیصلے کی بنیاد کو انسانوں کے لیے قابلِ فہم شکل میں پیش کرنے کی کوششوں کو مجموعی طور پر قابلِ وضاحت AI (説明可能AI، XAI) کہا جاتا ہے۔

لاٹری ٹکٹ مفروضہ (宝くじ仮説) یہ مفروضہ ہے کہ ایک بڑے نیٹ ورک میں ایک ایسا جیتنے والا ذیلی نیٹ ورک موجود ہوتا ہے جسے الگ نکال کر اکیلے تربیت دی جائے تو وہ پورے نیٹ ورک کے برابر کارکردگی تک پہنچ جاتا ہے۔ اسے اس پس منظر کے طور پر بیان کیا جاتا ہے کہ پروننگ (プルーニング)، جو کم حصہ ڈالنے والے کنکشنز اور لیئرز کو ہٹاتی ہے، کیوں اچھی طرح کام کرتی ہے۔ ایک چھوٹے ماڈل کو بڑے ٹیچر ماڈل کے آؤٹ پٹ سے سکھانا ڈسٹلیشن (蒸留) ہے، اور وزن کو ظاہر کرنے والے اعداد کی درستگی (precision) کم کرنا کوانٹائزیشن (量子化) ہے؛ پروننگ کے ساتھ مل کر یہ تینوں نصاب میں ہلکا بنانے کے طریقے (軽量化手法) ہیں، جنہیں مجموعی طور پر ماڈل کمپریشن (モデル圧縮) کہا جاتا ہے۔ درکار تربیتی ڈیٹا کا تیزی سے بڑھنا ابعاد کی لعنت کا معاملہ ہے۔ ہلکا بنانے کی ضرورت کی ایک عام مثال ایج AI (エッジAI) ہے، جو انفرنس کو ڈیوائس پر ہی چلاتی ہے۔