วิธีการเรียนรู้ของเครื่องและการประเมินผล

Logistic Regression มีคำว่า "Regression" (การถดถอย) อยู่ในชื่อ แต่เป็นวิธีการจำแนกที่แปลงผลการคำนวณเชิงเส้นให้เป็นรูปแบบความน่าจะเป็นเพื่อตัดสินคลาส การพยากรณ์ค่าต่อเนื่องโดยตรงเป็นวิธีการของปัญหาการถดถอย เช่น การถดถอยเชิงเส้น ซึ่งเป็นความผิดพลาดที่พบบ่อยจากการเลือกตามชื่อ การค้นหากลุ่มก้อนโดยไม่ใช้ข้อมูลสอนคือการทำคลัสเตอร์ในการเรียนรู้แบบไม่มีผู้สอน ส่วนการปรับปรุงการเลือกการกระทำด้วยรางวัลคือการเรียนรู้แบบเสริมกำลัง ซึ่งทั้งสองนี้อยู่ในหัวข้อย่อยอื่น

ปัญหาการถดถอยพยากรณ์ค่าต่อเนื่องเช่นยอดขายหรืออุณหภูมิ ส่วนปัญหาการจำแนกพยากรณ์คลาสแบบไม่ต่อเนื่อง เช่น เป็นอีเมลขยะหรือไม่ คำอธิบายที่สลับสองอย่างนี้เป็นความผิดพลาดที่พบบ่อยที่สุด การเรียนรู้แบบมีผู้สอนต้องใช้คู่ของคุณลักษณะกับข้อมูลสอนไม่ว่าจะเป็นปัญหาแบบใด จึงไม่มีกรณีที่ใช้เพียงคุณลักษณะอย่างเดียว การเรียนรู้จากรางวัลเพียงอย่างเดียวคือการเรียนรู้แบบเสริมกำลัง ไม่ใช่คำอธิบายของการเรียนรู้แบบมีผู้สอน

การถดถอยที่มีตัวแปรอธิบาย 1 ตัวคือการถดถอยเชิงเดี่ยว ส่วนที่มีตัวแปรอธิบายตั้งแต่ 2 ตัวขึ้นไปคือการถดถอยพหุคูณ คำว่า "เดี่ยว" และ "พหุ" แสดงจำนวนตัวแปรอธิบายอยู่แล้วโดยตรง จึงทราบว่าคำอธิบายที่สลับกันเป็นความผิดพลาด ทั้งสองเป็นวิธีการถดถอยที่พยากรณ์ค่าต่อเนื่อง จึงไม่มีข้อความที่ว่าฝ่ายหนึ่งเป็นการจำแนก และการวิเคราะห์การถดถอยเป็นการเรียนรู้แบบมีผู้สอน จึงต้องใช้ข้อมูลสอนไม่ว่าจำนวนตัวแปรจะเป็นเท่าใด

SVM ใช้การขยายมาร์จิ้นสูงสุด กล่าวคือลากขอบเขตในตำแหน่งที่ระยะห่างกับจุดข้อมูลที่ใกล้ที่สุดมีค่ามากที่สุด จุดที่ใกล้ที่สุดนี้เรียกว่าซัพพอร์ตเวกเตอร์ การเพิ่มน้ำหนักให้ข้อมูลที่จำแนกผิดพลาดแล้วเพิ่มตัวเรียนรู้เข้าไปเรื่อย ๆ คือแนวคิดของบูสติ้ง ส่วนการหาทิศทางที่ความแปรปรวนมีค่ามากที่สุดคือแนวคิดของการวิเคราะห์องค์ประกอบหลัก (PCA) ซึ่งทั้งสองไม่ใช่คำอธิบายของ SVM วิธีที่ลากผ่านจุดกึ่งกลางของจุดศูนย์กลางไม่ได้คำนึงถึงมาร์จิ้นเลย

Kernel Trick คือการหาผลคูณภายใน (Inner Product) หลังการฉายไปยังพื้นที่มิติสูงโดยตรงด้วยฟังก์ชันเคอร์เนล ทำให้สามารถแยกแบบไม่เชิงเส้นได้โดยไม่ต้องคำนวณพิกัดจริงหลังการฉาย การไม่ต้องคำนวณพิกัดทีละตัวนี้เองที่เป็นเหตุผลที่เรียกว่า "ทริก" ดังนั้นคำอธิบายที่ว่าคำนวณจริงก่อนแล้วจึงแยกจึงมีทิศทางที่กลับกัน การแบ่งกลุ่มโดยไม่ใช้ข้อมูลสอนคือเรื่องของการทำคลัสเตอร์ และไม่ใช่กลไกที่ลดจำนวนข้อมูลที่ใช้ในการเรียนรู้

Bagging สร้างตัวเรียนรู้แบบขนานและเป็นอิสระต่อกันจากข้อมูลฝึกที่สร้างด้วยการสุ่มตัวอย่างแบบ Bootstrap แล้วนำมาลงคะแนนเสียงข้างมากหรือหาค่าเฉลี่ย Boosting เพิ่มตัวเรียนรู้ทีละตัวแบบต่อเนื่อง โดยให้น้ำหนักกับตัวอย่างที่ตัวเรียนรู้ก่อนหน้าทำผิดพลาดมากขึ้น จึงขึ้นอยู่กับลำดับและไม่สามารถสร้างแบบขนานได้ การสลับแบบขนานกับแบบต่อเนื่องนี้เป็นความผิดพลาดที่พบบ่อยที่สุด ทั้งสองเป็นการเรียนรู้แบบมีผู้สอนที่ใช้ข้อมูลสอน และไม่ได้จำกัดชนิดของตัวเรียนรู้อ่อนไว้เฉพาะต้นไม้ตัดสินใจหรือการถดถอยเชิงเส้น

Random Forest เป็นตัวอย่างของ Bagging ที่สร้างข้อมูลฝึกที่ต่างกันเล็กน้อยด้วยการสุ่มตัวอย่างแบบ Bootstrap ซึ่งเป็นการสุ่มตัวอย่างที่ยอมให้ซ้ำได้ แล้วเรียนรู้ต้นไม้ตัดสินใจจำนวนมากแบบขนานและเป็นอิสระต่อกัน จากนั้นลงคะแนนเสียงข้างมากหรือหาค่าเฉลี่ย การเพิ่มต้นไม้ทีละต้นแบบต่อเนื่องโดยให้น้ำหนักกับความผิดพลาดของต้นก่อนหน้าคือคำอธิบายของฝั่ง Boosting เช่น Gradient Boosting ซึ่งการสลับตรงนี้เป็นความผิดพลาดที่พบบ่อย ต้นไม้ที่ใช้ไม่ใช่ต้นเดียวแต่เป็นจำนวนมาก และสิ่งที่รวมกันคือต้นไม้ตัดสินใจไม่ใช่การถดถอยเชิงเส้น

ต้นไม้ตัดสินใจเป็นวิธีที่เรียงเงื่อนไขการแตกกิ่งของคุณลักษณะเป็นรูปทรงต้นไม้ จุดแข็งคือมนุษย์สามารถอ่านได้ว่าเงื่อนไขใดนำไปสู่ทิศทางใด แต่ในทางกลับกัน ยิ่งปลูกต้นไม้ลึกเท่าใด ก็ยิ่งจดจำความเบี้ยวเล็กน้อยของข้อมูลฝึก ทำให้เกิด Overfitting ได้ง่ายหากใช้เพียงตัวเดียว การแตกกิ่งลึกขึ้นจะทำให้ความสอดคล้องกับข้อมูลฝึกดีขึ้นด้วยซ้ำ แต่ปัญหาคือกลับแย่ลงเมื่อเจอข้อมูลใหม่ ดังนั้นข้อความที่ว่าความสอดคล้องจะแย่ลงเสมอจึงไม่ถูกต้อง ต้นไม้ตัดสินใจเป็นการเรียนรู้แบบมีผู้สอน และใช้ได้ทั้งการจำแนกและการถดถอย

โมเดล AR อธิบายค่าปัจจุบันของอนุกรมเวลา 1 ชุดด้วยค่าในอดีตของอนุกรมนั้นเอง โมเดล VAR ขยายแนวคิดนี้ไปยังอนุกรมเวลาหลายชุด โดยอธิบายด้วยค่าในอดีตของกันและกัน ความแตกต่างจึงอยู่ที่จำนวนอนุกรมว่าเป็นชุดเดียวหรือหลายชุด คำอธิบายที่สลับกันจึงผิดพลาด ทั้งสองเป็นโมเดลที่จัดการอนุกรมเวลา ไม่ใช่เครื่องมือดึงคุณลักษณะเฉพาะที่ของรูปภาพหรือองค์ประกอบความถี่ของเสียง และไม่ได้แยกกันด้วยความจำเป็นในการใช้ข้อมูลสอน

การจำแนกหลายคลาสคือปัญหาการจำแนกที่ทายว่าอยู่ในคลาสใดจากคลาสที่มีตั้งแต่ 3 คลาสขึ้นไป โดยงานที่จัดสรรภาพตัวเลขลายมือให้เป็นตัวเลขใดตัวเลขหนึ่งตั้งแต่ 0 ถึง 9 เป็นตัวอย่างคลาสสิก การทายค่าต่อเนื่องอย่างอุณหภูมิสูงสุดเป็นปัญหาการถดถอย ไม่ใช่การจำแนก การค้นหากลุ่มก้อนของลูกค้าที่คล้ายกันคือการทำคลัสเตอร์ในการเรียนรู้แบบไม่มีผู้สอน ส่วนการเลือกการเดินหมากใหม่จากรางวัลคือการเรียนรู้แบบเสริมกำลัง ซึ่งทั้งสองไม่ใช่ปัญหาการจำแนกในการเรียนรู้แบบมีผู้สอนตั้งแต่แรก

หลักสูตรตั้งเป้าหมายไว้ว่า "เข้าใจว่าการเรียนรู้แบบไม่มีผู้สอนต้องการเพียงคุณลักษณะเท่านั้น" การเรียนรู้แบบไม่มีผู้สอนคือการค้นหาโครงสร้างที่มีอยู่ในตัวข้อมูลเองด้วยการทำคลัสเตอร์หรือการลดมิติ โดยไม่มีป้ายกำกับคำตอบที่ถูกต้อง การให้คู่ของคุณลักษณะและข้อมูลสอนเป็นสมมติฐานของการเรียนรู้แบบมีผู้สอน การอาศัยรางวัลเป็นเบาะแสคือการเรียนรู้แบบเสริมกำลัง ซึ่งทั้งสองถูกวางไว้ในหัวข้อย่อยอื่น ขั้นตอนที่ทิ้งข้อมูลที่เหลือไปก็ไม่ใช่คำอธิบายของการเรียนรู้แบบไม่มีผู้สอนเช่นกัน

วิธี k-means กำหนดจำนวนคลัสเตอร์ k ไว้ล่วงหน้า แล้วทำซ้ำการจัดสรรแต่ละจุดไปยังจุดศูนย์กลางที่ใกล้ที่สุด และการคำนวณจุดศูนย์กลางใหม่ เป็นการทำคลัสเตอร์แบบไม่เป็นลำดับชั้น การรวมกลุ่มที่ใกล้กันเข้าด้วยกันตามลำดับโดยไม่กำหนดจำนวนคลัสเตอร์ล่วงหน้าคือวิธีวอร์ด (Ward) เป็นต้น ซึ่งเป็นการทำคลัสเตอร์แบบลำดับชั้นและสามารถวาดเดนโดรแกรม (ผังต้นไม้) ได้ การขยายมาร์จิ้นคือ SVM ซึ่งเป็นการเรียนรู้แบบมีผู้สอน ส่วนการประเมินสัดส่วนหัวข้อจากการปรากฏของคำคือโมเดลหัวข้ออย่างวิธี Latent Dirichlet Allocation (LDA)

วิธีวอร์ดเป็นการทำคลัสเตอร์แบบลำดับชั้นที่รวมกลุ่มที่ใกล้กันเข้าด้วยกันตามลำดับ และสามารถวาดขั้นตอนการรวมกลุ่มนั้นเป็นเดนโดรแกรม (ผังต้นไม้) ได้ ข้อดีคือสามารถตัดสินใจภายหลังได้ว่าจะตัดที่ความสูงใดเพื่อกำหนดจำนวนคลัสเตอร์ วิธีที่กำหนดจำนวนคลัสเตอร์ล่วงหน้าแบบไม่เป็นลำดับชั้นคือวิธี k-means ซึ่งไม่สร้างผังต้นไม้ วิธีวอร์ดไม่ใช่วิธีการลดมิติหรือการเรียนรู้แบบมีผู้สอน และไม่ใช้ป้ายกำกับที่ถูกต้อง

PCA เป็นการลดมิติแบบเชิงเส้นที่ปรับแกนใหม่ไปในทิศทางที่ความแปรปรวนมีค่ามากที่สุด ส่วน t-SNE เป็นวิธีแบบไม่เชิงเส้นที่ฉายลงมิติต่ำโดยรักษาความใกล้ของจุดที่อยู่ใกล้กันไว้ มักใช้ในการแสดงผลแบบ 2 หรือ 3 มิติ การสลับเชิงเส้นกับไม่เชิงเส้นเป็นความผิดพลาดที่พบบ่อยที่สุด การประเมินหัวข้อของเอกสารคือโมเดลหัวข้ออย่าง Latent Dirichlet Allocation (LDA) การแยกส่วนเมทริกซ์คือ Singular Value Decomposition (SVD) ทั้ง PCA และ t-SNE เป็นการเรียนรู้แบบไม่มีผู้สอน จึงไม่ต้องใช้ข้อมูลสอน

การกรองแบบร่วมมือใช้ความคล้ายกันของการประเมินระหว่างผู้ใช้ด้วยกันหรือสินค้าด้วยกันเป็นเบาะแสในการแนะนำ จึงไม่มีเบาะแสสำหรับผู้ใช้ใหม่หรือสินค้าใหม่ที่ยังไม่มีประวัติการประเมิน ทำให้แนะนำได้ยาก นี่คือปัญหา Cold Start การกรองแบบใช้เนื้อหา (Content-Based Filtering) ที่ใช้ข้อความบรรยายสินค้าหรือคุณลักษณะเองเป็นเบาะแส มักถูกกล่าวถึงในฐานะแนวทางที่ช่วยชดเชยจุดอ่อนนี้ ไม่ใช่เรื่องของเวลาในการคำนวณหรือสต็อกสินค้า

การเรียนรู้แบบเสริมกำลังโต้ตอบกับสิ่งแวดล้อมด้วยการลองผิดลองถูก แล้วเรียนรู้นโยบายที่ทำให้ผลรวมของรางวัลที่ได้รับมีค่ามากขึ้น เบาะแสไม่ใช่ป้ายกำกับที่ถูกต้องทีละครั้ง แต่เป็นรางวัล จึงไม่ใช่การเรียนรู้แบบมีผู้สอนประเภทหนึ่ง การใช้เพียงระยะห่างเป็นเบาะแสเป็นแนวคิดของการทำคลัสเตอร์ในการเรียนรู้แบบไม่มีผู้สอน ส่วนจำนวนครั้งที่คำปรากฏเป็นเรื่องของการแทนคุณลักษณะในการประมวลผลภาษาธรรมชาติ ซึ่งทั้งสองไม่ใช่สัญญาณการเรียนรู้ของการเรียนรู้แบบเสริมกำลัง อีกทั้งการใช้อัตราคิดลดเพื่อประเมินอนาคตในกรณีที่รางวัลไม่คืนกลับมาทันที ก็เป็นลักษณะเฉพาะของกรอบแนวคิดนี้เช่นกัน

หลักสูตรตั้งเป้าหมายไว้ว่า "เข้าใจ 2 แนวทางหลัก คือการเรียนรู้ฟังก์ชันค่าและการเรียนรู้นโยบาย" แนวทางแรกคือการประเมินฟังก์ชันค่าสถานะหรือฟังก์ชันค่าการกระทำก่อนแล้วจึงเลือกการกระทำ ตัวแทนคือ Q-Learning และ SARSA แนวทางที่สองคือการแทนนโยบายด้วยพารามิเตอร์แล้วอัปเดตโดยตรง ตัวแทนคือ Policy Gradient และ REINFORCE Actor-Critic รวม Actor ที่รับผิดชอบนโยบายและ Critic ที่รับผิดชอบค่าเข้าด้วยกัน จึงมีทั้งสองอย่าง คำอธิบายที่ว่ามีเพียงอย่างเดียว หรือไม่ใช่เป้าหมายของการเรียนรู้ ล้วนไม่ถูกต้อง

ทั้งสองเป็นวิธีการเรียนรู้แบบเสริมกำลังที่อัปเดตฟังก์ชันค่าการกระทำ ความแตกต่างอยู่ที่ว่าใช้อะไรในการอัปเดต Q-Learning ใช้ค่าที่มากที่สุดในบรรดาการกระทำที่เป็นไปได้ในสถานะถัดไป ส่วน SARSA อัปเดตโดยใช้ค่าของการกระทำถัดไปที่เลือกจริง คำอธิบายที่สลับสองอย่างนี้เป็นความผิดพลาดที่พบบ่อยที่สุด Q-Learning ก็อัปเดตฟังก์ชันค่าการกระทำเช่นกัน จึงไม่ถูกต้องที่จะบอกว่ามีเพียงฝ่ายเดียวที่ใช้ การเรียนรู้แบบเสริมกำลังทั้งสองแบบเรียนรู้จากรางวัล จึงไม่ถูกต้องที่จะบอกว่าต้องใช้ข้อมูลสอน

แขนที่มีค่าประเมินมากที่สุดจะถูกเลือกได้ใน 2 กรณี คือกรณีที่เลือกแบบโลภ (Greedy) และกรณีที่เลือกแบบสุ่มแล้วบังเอิญได้แขนนั้น กรณีแรกคือ 1 ลบ 0.1 เท่ากับ 0.900 กรณีหลังคือ 0.1 หารด้วย 4 เท่ากับ 0.025 รวมกันได้ 0.925 คำตอบ 0.900 คือค่าที่นับไม่ครบส่วนที่บังเอิญได้จากการสุ่ม 0.250 คือความน่าจะเป็นที่เลือกแบบสม่ำเสมอจาก 4 แขน และ 0.100 คือค่า ε เอง ยิ่งเพิ่ม ε มากขึ้น การสำรวจก็จะยิ่งมากขึ้น และความน่าจะเป็นนี้ก็จะยิ่งลดลง

4 คูณ 0.5 ได้ 2, 12 คูณ 0.5 ยกกำลัง 2 คือ 0.25 ได้ 3, 8 คูณ 0.5 ยกกำลัง 3 คือ 0.125 ได้ 1 รวมกันได้ 6.0 ค่า 24.0 คือค่าที่ไม่คูณส่วนลดใด ๆ เลย เพียงบวก 4, 12, 8 เข้าด้วยกัน ค่า 12.0 คือค่า 24 นั้นคูณด้วย 0.5 เพียง 1 ครั้ง ส่วนค่า 7.5 คือค่าที่สลับลำดับการคูณ โดยคูณ 4 ด้วย 0.125, 12 ด้วย 0.25, 8 ด้วย 0.5 ซึ่งทั้งหมดนี้เป็นความผิดพลาดที่พบบ่อย บทบาทของอัตราคิดลดคือประเมินรางวัลในอนาคตที่ไกลออกไปให้มีค่าน้อยลง ดังนั้นน้ำหนักที่มากกว่าจะตกอยู่กับรางวัลที่ใกล้กว่า

Precision ใช้จำนวนที่พยากรณ์เป็นบวกเป็นตัวส่วน จึงเป็น True Positive 40 หารด้วยผลรวมของ True Positive 40 กับ False Positive 10 คือ 50 ได้ 0.80 ค่า 0.67 คือ Recall ที่ใช้จำนวนที่เป็นบวกจริงเป็นตัวส่วน นั่นคือ 40 หารด้วยผลรวมของ True Positive 40 กับ False Negative 20 คือ 60 ค่า 0.85 คือ Accuracy ซึ่งเป็นสัดส่วนที่ทายถูก 170 รายการจากทั้งหมด 200 รายการ ส่วนค่า 0.73 คือ F-Measure ซึ่งเป็นค่าเฉลี่ยฮาร์มอนิกของ Precision 0.80 กับ Recall 0.67 ซึ่งล้วนเป็นตัวชี้วัดอื่นที่คำนวณผิดไป

Precision คือ "สัดส่วนของสิ่งที่เป็นบวกจริงในบรรดาสิ่งที่พยากรณ์ว่าเป็นบวก" ดังนั้นตัวส่วนจึงอยู่ฝั่งการพยากรณ์ Recall คือ "สัดส่วนที่จับได้ในบรรดาสิ่งที่เป็นบวกจริง" ดังนั้นตัวส่วนจึงอยู่ฝั่งข้อเท็จจริง ความผิดพลาดที่สลับสองอย่างนี้พบบ่อยที่สุด จึงควรจำจากว่าตัวส่วนเป็นฝั่งการพยากรณ์หรือฝั่งข้อเท็จจริง การใช้ข้อมูลทั้งหมดเป็นตัวส่วนคือ Accuracy ส่วนตัวชี้วัดที่ใช้เฉพาะ True Negative หรือ False Negative เป็นตัวส่วนไม่ใช่ทั้งสองอย่างนี้ เมื่อต้องการลดการตรวจจับผิดพลาด ให้ให้ความสำคัญกับ Precision เมื่อต้องการลดการมองข้าม ให้ให้ความสำคัญกับ Recall

F-Measure คือค่าเฉลี่ยฮาร์มอนิกของ Precision กับ Recall จึงคำนวณได้จาก 2 คูณผลคูณของ 0.6 กับ 0.9 คือ 0.54 ได้ 1.08 แล้วหารด้วยผลรวมของ 0.6 กับ 0.9 คือ 1.5 ได้ 0.72 ค่า 0.75 คือค่าที่คำนวณเป็นค่าเฉลี่ยเลขคณิตแทนที่จะเป็นค่าเฉลี่ยฮาร์มอนิก ค่า 0.54 คือค่าที่เพียงคูณสองค่าเข้าด้วยกัน และค่า 1.50 คือค่าที่เพียงบวกกัน ควรตรวจสอบด้วยว่าค่าเฉลี่ยฮาร์มอนิกจะถูกดึงเข้าหาค่าที่น้อยกว่า จึงมีค่าน้อยกว่าค่าเฉลี่ยเลขคณิตที่ 0.75

เนื่องจากค่าบวกมีเพียง 1 เปอร์เซ็นต์ เพียงตอบว่าเป็นลบทั้งหมดก็จะถูก 99 เปอร์เซ็นต์แล้ว ทำให้ Accuracy สูงถึง 99 เปอร์เซ็นต์ แต่เนื่องจากไม่สามารถจับค่าบวกจริงได้แม้แต่รายการเดียว Recall จึงเป็น 0 เปอร์เซ็นต์ ทำให้โมเดลนี้ไม่มีประโยชน์ในการใช้งานจริง เมื่อจำนวนของแต่ละคลาสไม่สมดุลกัน หากดูเพียง Accuracy จะตัดสินใจผิดพลาด จึงจำเป็นต้องดู Recall, F-Measure และเส้นโค้ง ROC กับ AUC ควบคู่กันด้วย ในสถานการณ์นี้ Accuracy จะไม่กลายเป็น 1 เปอร์เซ็นต์หรือ 50 เปอร์เซ็นต์

เส้นโค้ง ROC เป็นเส้นโค้งที่วาดโดยเปลี่ยนค่าขีดแบ่งของการตัดสิน โดยแกนตั้งคือ True Positive Rate และแกนนอนคือ False Positive Rate พื้นที่ใต้เส้นโค้งนี้คือ AUC ค่า AUC ยิ่งใกล้ 1 ยิ่งดี ส่วน 0.5 หมายถึงระดับเดียวกับการตัดสินแบบสุ่มเดา หากให้แกนตั้งเป็น Precision และแกนนอนเป็น Recall จะกลายเป็นเส้นโค้งแบบอื่น จึงเป็นจุดที่มักสับสนกัน การจับคู่ Accuracy กับจำนวนข้อมูล หรือความคลาดเคลื่อนกับจำนวนครั้งของการทำซ้ำ เป็นกราฟอื่นที่ใช้ดูความคืบหน้าของการเรียนรู้

ทั้ง AIC และ BIC เป็นตัวชี้วัดที่รวมความสอดคล้องกับข้อมูลและบทลงโทษสำหรับการเพิ่มพารามิเตอร์เข้าด้วยกัน ยิ่งมีค่าน้อยยิ่งถือว่าเป็นโมเดลที่ดี การมองว่ายิ่งมากยิ่งดีเป็นความผิดพลาด และเป็นจุดที่มักถูกถามมากที่สุด หากเลือกโดยดูเพียงความสอดคล้องกับข้อมูลฝึก จะมีแนวโน้มเลือกแต่โมเดลที่มีพารามิเตอร์มากซึ่งนำไปสู่ Overfitting จึงต้องมีบทลงโทษเพื่อสร้างความสมดุล เป็นแนวคิดทิศทางเดียวกับหลักการมีดโกนอ็อคแคมที่ไม่ทำให้ซับซ้อนเกินความจำเป็น

การทำ k-Fold Cross-Validation แบ่งข้อมูลออกเป็น k ส่วน แล้วทำซ้ำขั้นตอนที่ใช้ 1 ส่วนเป็นข้อมูลตรวจสอบ ส่วนที่เหลือใช้ในการเรียนรู้ เป็นจำนวน k ครั้ง แล้วหาค่าเฉลี่ยของผลลัพธ์ หากแบ่งข้อมูล 200 รายการเป็น 5 ส่วน แต่ละก้อนจะมี 40 รายการ ดังนั้นการตรวจสอบจะใช้ 40 รายการทุกครั้ง และการเรียนรู้จะใช้ที่เหลือ 160 รายการ ทำซ้ำทั้งหมด 5 ครั้ง การแบ่งเพียงครั้งเดียวจบคือ Holdout Validation ซึ่งคำนวณเบา แต่ผลลัพธ์จะไวต่อวิธีการแบ่งข้อมูล การใช้ 160 รายการเป็นข้อมูลตรวจสอบเป็นการนับที่สลับระหว่างการเรียนรู้กับการตรวจสอบ

ค่ากำลังสองของความคลาดเคลื่อนคือ 4, 16, 16, 0 รวมกันได้ 36 เมื่อหารด้วยจำนวนรายการ 4 จะได้ 9 ซึ่งคือค่าคลาดเคลื่อนกำลังสองเฉลี่ย (MSE) และรากที่สองของค่านี้คือ 3.0 ซึ่งคือ RMSE ค่า 9.0 คือค่าที่ตอบเป็น MSE โดยไม่ได้ถอดรากที่สอง ค่า 2.5 คือค่าเฉลี่ยของค่าสัมบูรณ์ของความคลาดเคลื่อน 2, 4, 4, 0 ซึ่งคือค่าคลาดเคลื่อนสัมบูรณ์เฉลี่ย (MAE) ค่า 6.0 คือค่าที่ลืมหารด้วยจำนวนรายการแล้วถอดรากที่สองของผลรวมกำลังสอง 36 โดยตรง RMSE มีหน่วยเดียวกับความคลาดเคลื่อนเดิม จึงอ่านง่าย

ผลรวม 84 หารด้วยจำนวนรายการ 7 ได้ค่าเฉลี่ย 12 เมื่อเรียงจากน้อยไปมาก รายการที่ 4 คือ 6 จึงเป็นค่ามัธยฐาน และค่า 4 ที่ปรากฏ 2 ครั้งคือฐานนิยม จุดสำคัญคือค่าผิดปกติ 50 ดึงเฉพาะค่าเฉลี่ยให้สูงขึ้นมาก ในขณะที่ค่ามัธยฐานและฐานนิยมแทบไม่ขยับ นี่คือตัวอย่างที่แสดงว่าไม่ควรตัดสินโดยดูค่าตัวแทนเพียงตัวเดียว ค่าที่สลับค่าเฉลี่ยกับค่ามัธยฐาน หรือสลับค่ามัธยฐานกับฐานนิยม เป็นความผิดพลาดที่พบบ่อย

สหสัมพันธ์เทียมคือปรากฏการณ์ที่สหสัมพันธ์ปรากฏขึ้นระหว่างสองสิ่งที่ไม่มีความเป็นเหตุเป็นผลโดยตรง เนื่องจากมีปัจจัยร่วม เช่น ยอดขายไอศกรีมกับจำนวนอุบัติเหตุทางน้ำเคลื่อนไหวไปด้วยกันเพราะมีอุณหภูมิเป็นปัจจัยร่วม บทเรียนในที่นี้คือแม้จะมีสหสัมพันธ์ก็ไม่ได้แปลว่ามีเหตุเป็นผลเสมอไป ดังนั้นแม้สัมประสิทธิ์สหสัมพันธ์จะเป็นบวกก็ไม่สามารถกล่าวได้ว่าเป็นเหตุและผลกัน อีกทั้งแม้สัมประสิทธิ์สหสัมพันธ์จะเป็น 0 ก็อาจมีความสัมพันธ์ที่ไม่เป็นเส้นตรงซ่อนอยู่ จึงไม่สามารถยืนยันได้ว่าไม่มีความสัมพันธ์เลย การจัดการค่าผิดปกติเป็นประเด็นที่แยกจากนี้