مشین لرننگ کے طریقے اور جائزہ

اگرچہ لاجسٹک ریگریشن (ロジスティック回帰) کے نام میں "ریگریشن" ہے، لیکن یہ درجہ بندی کا طریقہ ہے جو لکیری حساب کے نتیجے کو احتمال کی شکل میں بدل کر کلاس طے کرتا ہے۔ براہِ راست مسلسل قدر کی پیش گوئی ریگریشن مسائل کے طریقوں، جیسے لینیئر ریگریشن، کا کام ہے، اور نام کی وجہ سے اس جواب کی طرف کھنچ جانا ایک عام غلطی ہے۔ تربیتی ڈیٹا کے بغیر گروہ ڈھونڈنا کلسٹرنگ ہے، جو ان سپروائزڈ لرننگ کا موضوع ہے، اور انعام کی رہنمائی میں افعال کا انتخاب بہتر بنانا ری انفورسمنٹ لرننگ ہے — دونوں الگ ذیلی حصوں میں رکھے گئے ہیں۔

ریگریشن مسئلہ (回帰問題) فروخت یا درجۂ حرارت جیسی مسلسل قدر کی پیش گوئی کرتا ہے، اور درجہ بندی کا مسئلہ (分類問題) کسی منفصل کلاس کی پیش گوئی کرتا ہے، جیسے یہ کہ ای میل اسپام ہے یا نہیں۔ ان دونوں کو آپس میں بدل دینا سب سے عام غلطی ہے۔ سپروائزڈ لرننگ (教師あり学習) میں دونوں قسم کے مسائل کے لیے فیچرز اور تربیتی لیبل کی جوڑی درکار ہوتی ہے، اس لیے ایسا نہیں کہ ان میں سے ایک کا کام صرف فیچرز سے چل جائے۔ صرف انعام کی رہنمائی میں سیکھنا ری انفورسمنٹ لرننگ ہے، اور یہ سپروائزڈ لرننگ کی وضاحت نہیں۔

سادہ ریگریشن تجزیے (単回帰分析) میں ایک وضاحتی متغیر (説明変数) ہوتا ہے، اور متعدد ریگریشن تجزیے (重回帰分析) میں دو یا زیادہ۔ چونکہ "سادہ" اور "متعدد" کے حروف (単 اور 重) براہِ راست وضاحتی متغیرات کی تعداد ظاہر کرتے ہیں، اس لیے انہیں آپس میں بدلنے والی وضاحت واضح طور پر غلط ہے۔ دونوں مسلسل قدر کی پیش گوئی کرنے والے ریگریشن کے طریقے ہیں، اس لیے یہ کہنا بھی غلط ہے کہ ان میں سے ایک درجہ بندی کے لیے ہے۔ مزید یہ کہ ریگریشن تجزیہ سپروائزڈ لرننگ ہے، اور متغیرات کی تعداد سے قطع نظر اسے تربیتی لیبلز درکار ہوتے ہیں۔

SVM مارجن کو زیادہ سے زیادہ کرنے (マージン最大化) کا عمل کرتی ہے، یعنی حد اس مقام پر کھینچتی ہے جہاں اس کے اور سب سے قریبی ڈیٹا پوائنٹ کے درمیان مارجن زیادہ سے زیادہ ہو۔ یہ سب سے قریبی نقاط سپورٹ ویکٹرز (サポートベクター) کہلاتے ہیں۔ غلط درجہ بندی والے ڈیٹا کا وزن بڑھاتے ہوئے بار بار لرنرز شامل کرنا بوسٹنگ کا خیال ہے، اور زیادہ سے زیادہ ویری اینس کی سمت ڈھونڈنا پرنسپل کمپوننٹ اینالیسس (PCA) کا خیال ہے — ان میں سے کوئی بھی SVM کی وضاحت نہیں۔ سینٹرائڈز کے درمیانی نقطے سے حد گزارنا مارجن کو بالکل مدِنظر نہیں رکھتا۔

کرنل ٹرک (カーネルトリック) زیادہ ڈائمینشن والی اسپیس میں منتقل کرنے کے بعد کا اندرونی ضرب (内積) کرنل فنکشن کے ذریعے براہِ راست حاصل کر کے، منتقل شدہ کوآرڈینیٹس کا اصل حساب کیے بغیر غیر لکیری علیحدگی ممکن بناتا ہے۔ اسے "ٹرک" کہنے کی وجہ ہی یہ ہے کہ کوآرڈینیٹس کا ایک ایک کر کے حساب کرنے کی ضرورت نہیں پڑتی، اس لیے جو وضاحت کہے کہ پہلے حساب کیا جاتا ہے اور پھر الگ کیا جاتا ہے، اس کی سمت الٹی ہے۔ تربیتی لیبلز کے بغیر ڈیٹا تقسیم کرنا کلسٹرنگ کا موضوع ہے، اور یہ تربیتی ریکارڈز کی تعداد کم کرنے کا نظام بھی نہیں۔

بیگنگ (バギング) بوٹ اسٹریپ سیمپلنگ سے بنائے گئے تربیتی ڈیٹا سے لرنرز کو متوازی طور پر اور ایک دوسرے سے آزادانہ بناتی ہے، اور پھر اکثریتی ووٹ یا اوسط لیتی ہے۔ بوسٹنگ (ブースティング) لرنرز کو ترتیب وار شامل کرتی ہے، اور ہر نیا لرنر ان مثالوں کو زیادہ وزن دیتا ہے جن میں پچھلا غلط ہوا تھا، اس لیے یہ ترتیب پر منحصر ہے اور متوازی طور پر نہیں بنائی جا سکتی۔ متوازی اور ترتیب وار کو آپس میں بدل دینا یہاں سب سے عام غلطی ہے۔ دونوں سپروائزڈ لرننگ کے طور پر تربیتی لیبلز استعمال کرتی ہیں، اور قابلِ استعمال کمزور لرنرز (弱学習器) کی اقسام ڈیسیژن ٹریز یا لینیئر ریگریشن تک محدود نہیں۔

رینڈم فارسٹ (ランダムフォレスト) بیگنگ کی ایک نمائندہ مثال ہے: یہ بوٹ اسٹریپ سیمپلنگ (ブートストラップサンプリング) — یعنی واپسی کے ساتھ نمونہ لینا — کے ذریعے تھوڑا تھوڑا مختلف تربیتی ڈیٹا بناتی ہے، اس ڈیٹا سے بہت سے ڈیسیژن ٹریز کو متوازی طور پر اور آزادانہ بڑھاتی ہے، اور پھر اکثریتی ووٹ یا اوسط لیتی ہے۔ پچھلے ٹری کی غلطیوں کو زیادہ وزن دیتے ہوئے ٹریز کو ایک ایک کر کے شامل کرنا بوسٹنگ کی جانب کی وضاحت ہے، جیسے گریڈینٹ بوسٹنگ، اور اسے آپس میں بدل دینا ایک عام غلطی ہے۔ یہ ایک ٹری نہیں بلکہ بڑی تعداد میں ٹریز استعمال کرتی ہے، اور جنہیں یکجا کیا جاتا ہے وہ ڈیسیژن ٹریز ہیں، لینیئر ریگریشنز نہیں۔

ڈیسیژن ٹری (決定木) ایک طریقہ ہے جو فیچرز پر شاخ دار شرائط کو درخت کی شکل میں ترتیب دیتا ہے، اور اس کی خوبی یہ ہے کہ انسان پڑھ سکتا ہے کہ کس شرط کی وجہ سے کون سی شاخ اختیار کی گئی۔ دوسری طرف، درخت کو جتنا گہرا بڑھایا جائے، وہ تربیتی ڈیٹا کی باریک خصوصیات کو اتنا ہی یاد کر لیتا ہے، اس لیے اکیلا ٹری اوور فٹنگ (過学習) کا شکار ہونے کا رجحان رکھتا ہے۔ اسے گہرا بڑھانے سے تربیتی ڈیٹا سے مطابقت درحقیقت بہتر ہوتی ہے، اور مسئلہ یہ ہے کہ اس کے باوجود نئے ڈیٹا پر کارکردگی گر جاتی ہے، اس لیے یہ کہنا غلط ہے کہ مطابقت لازماً خراب ہوتی ہے۔ ڈیسیژن ٹری سپروائزڈ لرننگ ہے اور درجہ بندی اور ریگریشن دونوں کے لیے استعمال ہو سکتا ہے۔

AR ماڈل ایک ٹائم سیریز (時系列) کی موجودہ قدر کو اسی سیریز کی اپنی ماضی کی قدروں سے بیان کرتا ہے۔ VAR ماڈل اسے کئی ٹائم سیریز تک پھیلاتا ہے، اور انہیں ایک دوسرے کی ماضی کی قدروں کے ذریعے ایک دوسرے کو بیان کرنے دیتا ہے۔ فرق ایک ٹائم سیریز بمقابلہ کئی ٹائم سیریز کا ہے، اس لیے اسے آپس میں بدلنے والی وضاحت غلط ہے۔ دونوں ٹائم سیریز سنبھالنے کے ماڈلز ہیں، تصویر کی مقامی خصوصیات یا آواز کے فریکوئنسی اجزا نکالنے کے آلات نہیں، اور نہ ان میں تفریق تربیتی لیبلز کی ضرورت ہونے یا نہ ہونے کی بنیاد پر ہے۔

ملٹی کلاس درجہ بندی (多クラス分類) درجہ بندی کا ایسا مسئلہ ہے جو طے کرتا ہے کہ کوئی چیز تین یا زیادہ کلاسوں میں سے کس سے تعلق رکھتی ہے، اور ہاتھ سے لکھے ہندسے کو 0 سے 9 میں سے کسی ایک کے ساتھ منسوب کرنا اس کی عام مثال ہے۔ زیادہ سے زیادہ درجۂ حرارت کی قدر جیسی مسلسل قدر کی پیش گوئی ریگریشن مسئلہ ہے، درجہ بندی نہیں۔ ملتے جلتے صارفین کے گروہ ڈھونڈنا کلسٹرنگ ہے، جو ان سپروائزڈ لرننگ کی ایک شکل ہے، اور انعام کی بنیاد پر چال چننا ری انفورسمنٹ لرننگ ہے — ان میں سے کوئی بھی سرے سے سپروائزڈ لرننگ کا درجہ بندی کا مسئلہ نہیں۔

سلیبس میں یہ سمجھنا ایک ہدف کے طور پر درج ہے کہ ان سپروائزڈ لرننگ (教師なし学習) کو صرف فیچرز (特徴量) درکار ہوتے ہیں۔ درست جواب کے لیبلز کے بغیر، ان سپروائزڈ لرننگ کلسٹرنگ یا ڈائمینشن میں کمی کے ذریعے خود ڈیٹا میں موجود ساخت ڈھونڈتی ہے۔ فیچرز اور تربیتی لیبلز کی جوڑیوں کو بنیاد بنانا سپروائزڈ لرننگ ہے، اور انعام کی رہنمائی میں چلنا ری انفورسمنٹ لرننگ ہے — ہر ایک الگ ذیلی حصے میں رکھا گیا ہے۔ باقی ڈیٹا ضائع کرنا بھی ان سپروائزڈ لرننگ کی وضاحت نہیں۔

k-means الگورتھم (k-means法) غیر درجہ وار کلسٹرنگ کا ایک طریقہ ہے جو کلسٹرز کی تعداد k پہلے سے مقرر کرتا ہے اور ہر نقطے کو قریب ترین سینٹرائڈ (重心) سے منسوب کرنے اور سینٹرائڈز کا دوبارہ حساب کرنے کے عمل دہراتا ہے۔ کلسٹرز کی تعداد طے کیے بغیر سب سے قریبی اشیا کو بار بار ملاتے جانا درجہ وار کلسٹرنگ ہے، جیسے وارڈ کا طریقہ، جو ڈینڈروگرام (درخت نما خاکہ) بنا سکتا ہے۔ مارجن کو زیادہ سے زیادہ کرنا SVM ہے، جو سپروائزڈ لرننگ کی ایک شکل ہے، اور الفاظ کے ظاہر ہونے کے انداز سے موضوعات کا اندازہ لگانا ٹاپک ماڈل ہے، جیسے latent Dirichlet allocation (LDA)۔

وارڈ کا طریقہ (ウォード法) درجہ وار کلسٹرنگ ہے جو سب سے قریبی اشیا کو ترتیب سے بار بار ملاتا جاتا ہے، اور ملانے کے اس عمل کو ڈینڈروگرام (樹形図) کے طور پر بنایا جا سکتا ہے۔ اس کا فائدہ یہ ہے کہ کہاں سے کاٹنا ہے یہ دیکھ کر کلسٹرز کی تعداد بعد میں طے کی جا سکتی ہے۔ غیر درجہ وار اور کلسٹرز کی تعداد پہلے سے مقرر کرنے والا طریقہ k-means ہے، اور وہ ڈینڈروگرام نہیں بناتا۔ وارڈ کا طریقہ نہ ڈائمینشن میں کمی کا طریقہ ہے اور نہ سپروائزڈ لرننگ کا، اور یہ درست جواب کے لیبلز استعمال نہیں کرتا۔

PCA لکیری ڈائمینشن میں کمی (次元削減) ہے جو محوروں کو زیادہ سے زیادہ ویری اینس (分散) کی سمت میں دوبارہ ترتیب دیتی ہے، جبکہ t-SNE ایک غیر لکیری طریقہ ہے جو قریبی نقاط کی قربت کو برقرار رکھتے ہوئے کم ڈائمینشن میں منتقل کرتا ہے، اور اکثر دو یا تین ڈائمینشنز میں ویژولائزیشن کے لیے استعمال ہوتا ہے۔ یہاں لکیری اور غیر لکیری کو آپس میں بدل دینا ایک عام غلطی ہے۔ کسی دستاویز کے موضوعات کا اندازہ لگانا ٹاپک ماڈل ہے، جیسے latent Dirichlet allocation (LDA)، اور میٹرکس کو ڈیکمپوز کرنا سنگولر ویلیو ڈیکمپوزیشن (SVD) ہے۔ PCA اور t-SNE دونوں ان سپروائزڈ لرننگ ہیں، اس لیے کسی کو بھی تربیتی لیبلز درکار نہیں۔

چونکہ کولیبوریٹو فلٹرنگ (協調フィルタリング) صارفین کے درمیان یا پروڈکٹس کے درمیان ریٹنگز کی مشابہت کی بنیاد پر تجویز دیتی ہے، اس لیے جس نئے صارف یا نئی پروڈکٹ کی ابھی ریٹنگ کی کوئی تاریخ نہ ہو وہ کوئی سراغ فراہم نہیں کرتی، اور تجاویز دینا مشکل ہو جاتا ہے۔ یہی کولڈ اسٹارٹ مسئلہ (コールドスタート問題) ہے۔ کونٹینٹ بیسڈ فلٹرنگ، جو پروڈکٹ کے تفصیلی متن یا خود اس کی خصوصیات پر انحصار کرتی ہے، اس کے ساتھ ایسے طریقے کے طور پر زیرِ بحث آتی ہے جو اس کمزوری کی تلافی کرتا ہے۔ اس کا تعلق حساب کے وقت یا اسٹاک سے نہیں۔

ری انفورسمنٹ لرننگ (強化学習) آزمائش اور غلطی کے ذریعے ماحول سے تعامل کرتی ہے، اور ایسی پالیسی (方策) سیکھتی ہے جو ملنے والے مجموعی انعام کو زیادہ سے زیادہ کرے۔ رہنما انعام (報酬) ہے، ہر چال کے لیے درست جواب کا لیبل نہیں، اس لیے یہ سپروائزڈ لرننگ کی کوئی شکل نہیں۔ صرف فاصلے کی قربت کو رہنما بنانا کلسٹرنگ اور دیگر ان سپروائزڈ لرننگ کا خیال ہے، اور الفاظ کے ظاہر ہونے کی تعداد قدرتی زبان کی پروسیسنگ میں فیچر کی نمائندگی کا موضوع ہے — ان میں سے کوئی بھی ری انفورسمنٹ لرننگ کا سیکھنے کا سگنل نہیں۔ اس صورت کے لیے کہ انعام فوراً واپس نہ ملے، ڈسکاؤنٹ ریٹ کے ذریعے مستقبل کا جائزہ لینا بھی اس فریم ورک کی ایک خصوصیت ہے۔

سلیبس میں ویلیو فنکشن سیکھنے اور پالیسی سیکھنے کے دو نمائندہ طریقوں کو سمجھنا ایک ہدف کے طور پر درج ہے۔ پہلا طریقہ اسٹیٹ ویلیو فنکشن یا ایکشن ویلیو فنکشن (行動価値関数) کا اندازہ لگاتا ہے اور پھر اس کی بنیاد پر عمل چنتا ہے، جس کی نمائندہ مثالیں Q-learning اور SARSA ہیں۔ دوسرا طریقہ پالیسی (方策) کو خود پیرامیٹرز سے ظاہر کرتا ہے اور اسے براہِ راست اپ ڈیٹ کرتا ہے، جس کی نمائندہ مثالیں پالیسی گریڈینٹ طریقے اور REINFORCE ہیں۔ Actor-Critic پالیسی کے ذمہ دار Actor اور ویلیو کے ذمہ دار Critic کو یکجا کرتا ہے، اور دونوں کو ساتھ رکھتا ہے۔ یہ کہنا کہ دونوں میں سے صرف ایک موجود ہے، یا یہ کہ کوئی بھی سیکھنے کا ہدف نہیں بن سکتا، غلط ہے۔

دونوں ری انفورسمنٹ لرننگ کے ایسے طریقے ہیں جو ایکشن ویلیو فنکشن (行動価値関数) کو اپ ڈیٹ کرتے ہیں، اور فرق اس میں ہے کہ اپ ڈیٹ کے لیے کیا استعمال ہوتا ہے۔ Q-learning (Q学習) اگلی حالت میں دستیاب اعمال میں سے سب سے زیادہ ویلیو والا عمل استعمال کرتا ہے، جبکہ SARSA اصل میں چنے گئے اگلے عمل کی ویلیو سے اپ ڈیٹ کرتا ہے۔ دونوں کو آپس میں بدل دینا ایک عام غلطی ہے۔ Q-learning بھی ایکشن ویلیو فنکشن اپ ڈیٹ کرتا ہے، اس لیے یہ کہنا درست نہیں کہ ان میں سے صرف ایک اسے استعمال کرتا ہے۔ دونوں انعام سے سیکھنے والے فریم ورک ہیں، اس لیے یہ کہنا بھی غلط ہے کہ تربیتی لیبلز درکار ہیں۔

سب سے زیادہ تخمینی ویلیو والا بازو دو طریقوں سے چنا جاتا ہے: لالچی (greedy) انتخاب کے ذریعے، یا اتفاقاً جب بے ترتیب انتخاب اسی بازو پر جا پڑے۔ پہلا 1 میں سے 0.1 منفی کرنے پر 0.900 ہے، اور دوسرا 0.1 کو 4 سے تقسیم کرنے پر 0.025 ہے، کل ملا کر 0.925۔ 0.900 وہ قدر ہے جو بے ترتیب انتخاب کے ذریعے اس بازو پر پڑنے کے امکان کو نظرانداز کرنے سے ملتی ہے؛ 0.250 چاروں بازوؤں میں سے یکساں طور پر چننے کا احتمال ہے؛ اور 0.100 محض ε خود ہے۔ ε جتنا بڑا ہو، تلاش (探索) اتنی زیادہ ہوتی ہے اور یہ احتمال گھٹ جاتا ہے۔

4 کو 0.5 سے ضرب دینے پر 2، 12 کو 0.5 کے مربع یعنی 0.25 سے ضرب دینے پر 3، اور 8 کو 0.5 کے مکعب یعنی 0.125 سے ضرب دینے پر 1 ملتا ہے، کل 6.0۔ 24.0 وہ قدر ہے جو کوئی ڈسکاؤنٹ لگائے بغیر 4، 12 اور 8 کو جمع کرنے سے ملتی ہے؛ 12.0 اسی 24 کو صرف ایک بار 0.5 سے ضرب دینے کا نتیجہ ہے؛ اور 7.5 ضرب کی ترتیب الٹ کر، یعنی 4 پر 0.125، 12 پر 0.25 اور 8 پر 0.5 لگا کر حاصل ہوتا ہے — یہ سب عام غلطیاں ہیں۔ چونکہ ڈسکاؤنٹ ریٹ (割引率) کا کام زیادہ دور مستقبل کے انعامات کی قدر کم لگانا ہے، اس لیے قریب والے انعامات کا وزن زیادہ ہوتا ہے۔

پریسیژن (適合率) پازیٹو پیش گوئی کی گئی اشیا کو مخرج لیتی ہے، اس لیے 40 ٹرو پازیٹو کو 50 سے، یعنی 40 ٹرو پازیٹو اور 10 فالس پازیٹو کے مجموعے سے، تقسیم کرنے پر 0.80 ملتا ہے۔ 0.67 ریکال (再現率) ہے، جو اصل میں پازیٹو اشیا کو مخرج لیتا ہے، یعنی 40 کو 60 سے، جو 40 ٹرو پازیٹو اور 20 فالس نیگیٹو کا مجموعہ ہے، تقسیم کرنا۔ 0.85 ایکیوریسی (正解率) ہے، یعنی کل 200 کیسز میں سے درست پیش گوئی والے 170 کا تناسب، اور 0.73 F-اسکور ہے، یعنی پریسیژن 0.80 اور ریکال 0.67 کا ہارمونک اوسط — یہ سب کوئی دوسرا پیمانہ نکال لینے سے حاصل ہونے والی قدریں ہیں۔

پریسیژن (適合率) کا مطلب ہے "پازیٹو پیش گوئی کی گئی اشیا میں سے اصل میں پازیٹو ہونے والوں کا تناسب"، اس لیے اس کا مخرج پیش گوئی کی جانب ہے۔ ریکال (再現率) کا مطلب ہے "اصل میں پازیٹو اشیا میں سے پکڑی جانے والی اشیا کا تناسب"، اس لیے اس کا مخرج اصل کی جانب ہے۔ دونوں کو آپس میں بدل دینا سب سے عام غلطی ہے، اس لیے فرق کو پیش گوئی بمقابلہ اصل کے طور پر یاد رکھنا مفید ہے۔ کل ڈیٹا کی تعداد کو مخرج لینا ایکیوریسی ہے، اور جو پیمانہ صرف ٹرو نیگیٹو یا صرف فالس نیگیٹو کو مخرج لے، وہ ان دونوں میں سے کوئی نہیں۔ جب آپ غلط نشاندہیاں کم کرنا چاہیں تو پریسیژن کو زیادہ اہمیت دیں؛ جب چھوٹ جانے والی نشاندہیاں کم کرنا چاہیں تو ریکال کو زیادہ اہمیت دیں۔

F-اسکور (F値) پریسیژن اور ریکال کا ہارمونک اوسط (調和平均) ہے، اس لیے 2 کو 0.54 سے، جو 0.6 اور 0.9 کا حاصلِ ضرب ہے، ضرب دینے پر 1.08 ملتا ہے، اور اسے 1.5 سے، جو 0.6 اور 0.9 کا مجموعہ ہے، تقسیم کرنے پر 0.72 ملتا ہے۔ 0.75 ہارمونک اوسط کے بجائے حسابی اوسط نکالنے سے ملنے والی قدر ہے؛ 0.54 محض دونوں کا حاصلِ ضرب ہے؛ اور 1.50 محض ان کا مجموعہ ہے۔ یہ بھی تصدیق کرنے کے قابل ہے کہ ہارمونک اوسط چھوٹی قدر کی طرف کھنچتا ہے، اس لیے یہ حسابی اوسط 0.75 سے کم نکلتا ہے۔

چونکہ صرف 1% پازیٹو ہے، اس لیے سب کو نیگیٹو کہہ دینے سے بھی 99% درست ہوتا ہے، چنانچہ ایکیوریسی (正解率) 99% ہے۔ تاہم چونکہ ایک بھی اصل پازیٹو نہیں پکڑا گیا، اس لیے ریکال (再現率) 0% ہے، اور یہ ماڈل بے کار ہے۔ جب کلاسوں کی تعداد غیر متوازن ہو تو صرف ایکیوریسی دیکھنے سے غلط فیصلہ ہوتا ہے، اس لیے ریکال، F-اسکور، اور ROC کرو اور AUC کو بھی ساتھ ساتھ دیکھنا ضروری ہے۔ اس صورت میں ایکیوریسی کبھی 1% یا 50% نہیں آتی۔

ROC کرو (ROC曲線) فیصلے کی حد (threshold) کو بدلتے ہوئے عمودی محور پر ٹرو پازیٹو ریٹ (真陽性率) اور افقی محور پر فالس پازیٹو ریٹ (偽陽性率) لے کر بنایا جاتا ہے، اور اس کے نیچے کا رقبہ AUC ہے۔ AUC جتنا 1 کے قریب ہو اتنا بہتر ہے، جبکہ 0.5 کا مطلب بے ترتیب فیصلے کے برابر سطح ہے۔ عمودی محور پر پریسیژن اور افقی محور پر ریکال رکھنے سے بالکل مختلف کرو بنتا ہے، اور یہی وہ جگہ ہے جہاں عام الجھن ہوتی ہے۔ ایکیوریسی اور ڈیٹا کی تعداد کی جوڑی، یا غلطی اور دہرائی کی تعداد کی جوڑی، تربیت کی پیش رفت دیکھنے کے الگ گراف ہیں۔

AIC اور BIC دونوں ایسے پیمانے ہیں جو ماڈل کی ڈیٹا سے مطابقت کی عمدگی اور زیادہ پیرامیٹرز رکھنے کی سزا (罰則) کو آپس میں جمع کرتے ہیں، اور کم قدر کو بہتر ماڈل سمجھا جاتا ہے۔ زیادہ قدر کو بہتر سمجھنا غلط ہے، اور یہی وہ نکتہ ہے جسے سب سے زیادہ نشانہ بنایا جاتا ہے۔ صرف تربیتی ڈیٹا سے مطابقت کی بنیاد پر چننے سے ہمیشہ زیادہ پیرامیٹرز والے ماڈل چنے جائیں گے، جو اوور فٹنگ کی طرف لے جاتا ہے، اسی لیے توازن کے لیے سزا شامل کی جاتی ہے۔ یہ اوکام کے استرے (オッカムの剃刀) کے خیال سے ہم آہنگ ہے: کسی چیز کو ضرورت سے زیادہ پیچیدہ نہ بنائیں۔

K-fold کراس ویلیڈیشن (k-分割交差検証) ڈیٹا کو k حصوں میں تقسیم کرتی ہے، اور ایک حصہ ویلیڈیشن کے لیے اور باقی تربیت کے لیے استعمال کرنے کا عمل k بار دہرا کر نتائج کا اوسط لیتی ہے۔ 200 ریکارڈز کو 5 حصوں میں تقسیم کرنے سے ہر حصے میں 40 ریکارڈز آتے ہیں، اس لیے ہر بار ویلیڈیشن میں 40 ریکارڈز، تربیت میں باقی 160 استعمال ہوتے ہیں، اور یہ 5 بار دہرایا جاتا ہے۔ صرف ایک بار تقسیم کر کے ختم کر دینا ہولڈ آؤٹ ویلیڈیشن (ホールドアウト検証) ہے، جو حساب میں ہلکی ہے لیکن اس بات سے زیادہ متاثر ہوتی ہے کہ تقسیم اتفاقاً کیسے ہوئی۔ ویلیڈیشن کے لیے 160 ریکارڈز استعمال کرنا تربیت اور ویلیڈیشن کو آپس میں الجھا دینا ہے۔

غلطیوں کے مربع 4، 16، 16 اور 0 ہیں، جن کا مجموعہ 36 ہے۔ اسے تعداد 4 سے تقسیم کرنے پر 9 ملتا ہے، جو مین اسکوائرڈ ایرر (MSE) ہے، اور اس کا جذر 3.0، RMSE ہے۔ 9.0 جذر لیے بغیر MSE کو ہی جواب بنا دینے کی قدر ہے؛ 2.5 مین ایبسولیوٹ ایرر (MAE) ہے، یعنی مطلق غلطیوں 2، 4، 4 اور 0 کا اوسط؛ اور 6.0 تعداد سے تقسیم کرنا بھول کر مربعوں کے مجموعے 36 کا براہِ راست جذر لینے سے ملتا ہے۔ RMSE پڑھنے میں آسان ہے کیونکہ اس کی اکائی اصل غلطی جیسی ہی ہوتی ہے۔

مجموعہ 84 کو تعداد 7 سے تقسیم کرنے پر اوسط (平均) 12 آتا ہے۔ بڑھتی ترتیب میں رکھنے پر 4 نمبر پر آنے والی قدر 6 ہے، اس لیے میڈین (中央値) 6 ہے، اور دو بار آنے والا 4 موڈ (最頻値) ہے۔ اہم نکتہ یہ ہے کہ آؤٹ لائر 50 صرف اوسط کو نمایاں طور پر کھینچتا ہے، جبکہ میڈین اور موڈ تقریباً نہیں ہلتے — یہ ایک مثال ہے کہ صرف ایک نمائندہ شماریاتی قدر کی بنیاد پر فیصلہ کیوں نہیں کرنا چاہیے۔ اوسط اور میڈین کو آپس میں بدل دینا، یا میڈین اور موڈ کو الجھا دینا عام غلطیاں ہیں۔

جعلی تعلق (疑似相関) وہ مظہر ہے جس میں کسی مشترکہ بنیادی عامل کی وجہ سے دو ایسی چیزوں کے درمیان کوریلیشن ظاہر ہو جاتا ہے جن میں براہِ راست علّی تعلق نہیں — جیسے آئس کریم کی فروخت اور ڈوبنے کے حادثات کی تعداد ایک ساتھ بدلتی ہیں کیونکہ ان کا مشترکہ عامل درجۂ حرارت ہے۔ یہاں سبق یہ ہے کہ کوریلیشن کا مطلب لازماً علّیت نہیں، اس لیے مثبت کوریلیشن کوایفیشنٹ کا مطلب یہ نہیں کہ ایک چیز دوسری کی وجہ ہے۔ نیز کوریلیشن کوایفیشنٹ 0 ہونے کے باوجود اس میں غیر لکیری تعلق چھپا ہو سکتا ہے، اس لیے یقین کے ساتھ نتیجہ نہیں نکالا جا سکتا کہ کوئی تعلق موجود نہیں۔ آؤٹ لائرز کو کیسے سنبھالا جائے، یہ اس سے الگ مسئلہ ہے۔