Phương pháp và đánh giá học máy

Hồi quy logistic tuy có chữ "hồi quy" trong tên gọi, nhưng là phương pháp phân loại, chuyển kết quả tính tuyến tính thành dạng xác suất để phán định lớp. Dự đoán chính giá trị liên tục là công việc của các phương pháp bài toán hồi quy như hồi quy tuyến tính, và việc bị tên gọi dẫn dắt để chọn nhầm cái này là lỗi điển hình. Tìm cụm mà không cần dữ liệu có giám sát là phân cụm, thuộc chủ đề học không giám sát; cải thiện hành động bằng phần thưởng là chủ đề học tăng cường; cả hai đều nằm ở mục khác.

Bài toán hồi quy dự đoán giá trị liên tục như doanh số hay nhiệt độ, còn bài toán phân loại dự đoán lớp rời rạc như có phải thư rác hay không. Mô tả đổi chỗ hai cái này là lỗi thường gặp nhất. Học có giám sát ở cả hai loại bài toán đều cần cặp đặc trưng và dữ liệu giám sát, nên không có chuyện chỉ một bên cần đặc trưng là đủ. Chỉ dùng phần thưởng làm manh mối là học tăng cường, không phải mô tả của học có giám sát.

Loại có 1 biến giải thích là phân tích hồi quy đơn, loại có 2 biến giải thích trở lên là phân tích hồi quy bội. Vì chữ "đơn" và "bội" thể hiện trực tiếp số lượng biến giải thích, nên mô tả đổi chỗ là sai. Cả hai đều là phương pháp hồi quy dự đoán giá trị liên tục, nên mô tả một bên là phân loại cũng không đúng. Ngoài ra phân tích hồi quy là học có giám sát, cần dữ liệu giám sát bất kể số lượng biến.

SVM tối đa hóa biên (margin), tức vẽ ranh giới tại vị trí mà khoảng cách tới điểm dữ liệu gần nhất là lớn nhất. Điểm gần nhất này được gọi là support vector. Việc tăng dần trọng số của dữ liệu bị phân loại sai rồi cộng dồn các bộ học là ý tưởng của boosting; tìm hướng phương sai lớn nhất là ý tưởng của phân tích thành phần chính (PCA); cả hai đều không phải mô tả của SVM. Cách vẽ qua trung điểm trọng tâm hoàn toàn không xét tới biên.

Kernel trick tính trực tiếp tích trong (inner product) sau khi ánh xạ lên không gian chiều cao bằng hàm kernel, giúp thực hiện phân tách phi tuyến mà không cần thực sự tính tọa độ sau khi ánh xạ. Việc không cần tính tọa độ từng cái là lý do nó được gọi là "mẹo", nên mô tả tính toán thực sự rồi mới phân tách là ngược chiều. Việc chia mà không cần dữ liệu giám sát là chuyện của phân cụm, và đây cũng không phải cơ chế giảm số lượng dữ liệu học.

Bagging tạo các bộ học một cách song song và độc lập với nhau từ dữ liệu huấn luyện được tạo bằng lấy mẫu bootstrap, rồi lấy biểu quyết đa số hoặc trung bình. Boosting cộng dồn các bộ học theo tuần tự trong khi coi trọng các ví dụ mà bộ học trước đó đã sai, nên phụ thuộc vào thứ tự và không thể tạo song song. Việc đổi chỗ song song và tuần tự là lỗi phổ biến nhất. Cả hai đều là học có giám sát dùng dữ liệu giám sát, và loại bộ học yếu có thể dùng cũng không giới hạn ở cây quyết định hay hồi quy tuyến tính.

Rừng ngẫu nhiên là ví dụ tiêu biểu của bagging: tạo dữ liệu huấn luyện hơi khác nhau bằng lấy mẫu bootstrap (lấy mẫu cho phép trùng lặp), rồi nuôi song song và độc lập nhiều cây quyết định từ đó, lấy biểu quyết đa số hoặc trung bình. Việc cộng dồn từng cây một trong khi coi trọng sai số của cây trước là mô tả của phía boosting như gradient boosting, và việc đổi chỗ ở đây là lỗi điển hình. Số cây không phải một mà là số lượng lớn, và thứ được gộp lại là cây quyết định chứ không phải hồi quy tuyến tính.

Cây quyết định là phương pháp sắp xếp các phân nhánh điều kiện theo đặc trưng dưới dạng cây, điểm mạnh là con người có thể đọc được đã đi theo hướng nào ở điều kiện nào. Mặt khác, càng nuôi cây sâu thì càng ghi nhớ cả những đặc điểm chi tiết vụn vặt của dữ liệu huấn luyện, nên bản thân nó dễ quá khớp. Càng làm sâu thì độ khớp với dữ liệu huấn luyện thực ra càng tốt hơn, và vấn đề nằm ở chỗ vẫn giảm sút với dữ liệu mới, nên mô tả rằng độ khớp chắc chắn tệ đi là sai. Cây quyết định là học có giám sát, dùng được cho cả phân loại lẫn hồi quy.

Mô hình AR giải thích giá trị hiện tại của một chuỗi thời gian duy nhất bằng giá trị quá khứ của chính chuỗi đó. Mô hình VAR mở rộng điều này cho nhiều chuỗi thời gian, dưới dạng giải thích lẫn nhau bằng giá trị quá khứ của nhau. Vì khác nhau ở việc một chuỗi hay nhiều chuỗi, nên mô tả đổi chỗ hai cái này là sai. Cả hai đều là mô hình xử lý chuỗi thời gian, không phải công cụ trích xuất đặc trưng cục bộ của ảnh hay thành phần tần số của âm thanh. Đây cũng không phải sự phân biệt theo có cần dữ liệu giám sát hay không.

Phân loại đa lớp là bài toán phân loại đoán xem thuộc lớp nào trong số 3 lớp trở lên, ví dụ điển hình là bài toán gán chữ số viết tay vào một trong các số từ 0 đến 9. Đoán giá trị liên tục như nhiệt độ cao nhất là bài toán hồi quy, không phải phân loại. Tìm cụm khách hàng giống nhau là phân cụm thuộc học không giám sát, chọn lại nước đi dựa trên phần thưởng là học tăng cường — cả hai đều không phải bài toán phân loại của học có giám sát ngay từ đầu.

Đề cương nêu mục tiêu "hiểu rằng học không giám sát chỉ cần đặc trưng". Học không giám sát là việc tìm cấu trúc của chính dữ liệu bằng phân cụm hoặc giảm chiều, mà không có nhãn đáp án. Lấy tiền đề là cặp đặc trưng và dữ liệu giám sát là học có giám sát, lấy phần thưởng làm manh mối là học tăng cường — mỗi cái được đặt ở mục khác nhau. Thủ tục bỏ phần dữ liệu còn lại cũng không phải mô tả của học không giám sát.

Phương pháp k-means là phân cụm không phân cấp, quyết định trước số cụm k, rồi lặp lại thao tác gán mỗi điểm vào trọng tâm gần nhất và tính lại trọng tâm. Việc không quyết định số cụm mà gộp lần lượt từ những cái gần nhau là phân cụm phân cấp như phương pháp Ward, loại này có thể vẽ được biểu đồ cây (dendrogram). Tối đa hóa biên là SVM thuộc học có giám sát, ước lượng chủ đề từ cách xuất hiện của từ là mô hình chủ đề như phân bổ Dirichlet tiềm ẩn (LDA).

Phương pháp Ward là phân cụm phân cấp, gộp lần lượt từ những cái gần nhau, và có thể vẽ quá trình gộp đó dưới dạng biểu đồ cây (dendrogram). Lợi ích là có thể quyết định số cụm sau đó, tùy theo cắt ở độ cao nào. Loại không phân cấp, quyết định trước số cụm là phương pháp k-means, loại này không tạo biểu đồ cây. Phương pháp Ward không phải phương pháp giảm chiều cũng không phải phương pháp học có giám sát, và không dùng nhãn đáp án.

PCA là giảm chiều tuyến tính, lấy lại trục theo hướng phương sai lớn nhất; t-SNE là phương pháp phi tuyến, ánh xạ xuống chiều thấp sao cho giữ nguyên độ gần của các điểm gần nhau, thường được dùng để trực quan hóa ở 2 hoặc 3 chiều. Mô tả đổi chỗ tuyến tính và phi tuyến ở đây là lỗi điển hình. Ước lượng chủ đề văn bản là mô hình chủ đề như phân bổ Dirichlet tiềm ẩn (LDA), phân rã ma trận là phân rã giá trị kỳ dị (SVD). Cả PCA lẫn t-SNE đều là học không giám sát nên không cần dữ liệu giám sát.

Lọc cộng tác đề xuất dựa trên manh mối là sự giống nhau trong đánh giá giữa những người dùng, hoặc giữa các sản phẩm, nên với người dùng mới hoặc sản phẩm mới chưa có lịch sử đánh giá thì không lấy được manh mối, khó đưa ra đề xuất. Đây chính là vấn đề cold start. Lọc dựa trên nội dung (content-based filtering), vốn lấy manh mối từ chính mô tả hoặc thuộc tính sản phẩm, được nói đến như hướng bù đắp cho điểm yếu này. Đây không phải chuyện về thời gian tính toán hay tồn kho.

Học tăng cường tương tác thử và sai với môi trường, học chính sách sao cho tổng phần thưởng nhận được trở nên lớn. Manh mối không phải nhãn đáp án cho từng nước đi mà là phần thưởng, nên đây không phải một dạng của học có giám sát. Chỉ lấy độ gần khoảng cách làm manh mối là ý tưởng của phân cụm thuộc học không giám sát, số lần xuất hiện của từ là chuyện về biểu diễn đặc trưng trong xử lý ngôn ngữ tự nhiên — đều không phải tín hiệu học của học tăng cường. Việc dùng tỷ lệ chiết khấu để đánh giá tương lai, phòng khi phần thưởng không trả về ngay, cũng là đặc điểm của khung này.

Đề cương nêu mục tiêu "hiểu hai cách tiếp cận tiêu biểu là học hàm giá trị và học chính sách". Ước lượng hàm giá trị trạng thái hoặc hàm giá trị hành động rồi mới chọn hành động là cách trước, tiêu biểu là Q-learning và SARSA. Biểu diễn trực tiếp chính sách bằng tham số rồi cập nhật trực tiếp là cách sau, tiêu biểu là phương pháp gradient chính sách và REINFORCE. Actor-Critic kết hợp Actor đảm nhận chính sách và Critic đảm nhận giá trị, có cả hai. Mô tả chỉ có một trong hai, hoặc mô tả rằng không phải đối tượng để học, đều là sai.

Cả hai đều là phương pháp học tăng cường cập nhật hàm giá trị hành động, khác nhau ở việc dùng gì để cập nhật. Q-learning dùng giá trị lớn nhất trong số các hành động có thể có ở trạng thái tiếp theo, còn SARSA cập nhật bằng giá trị của hành động tiếp theo thực sự đã chọn. Mô tả đổi chỗ hai cái này là lỗi điển hình. Q-learning cũng cập nhật hàm giá trị hành động, nên mô tả chỉ một bên dùng là sai. Học tăng cường ở cả hai đều là khung học bằng phần thưởng, nên mô tả cần dữ liệu giám sát cũng sai.

Cánh tay có giá trị ước lượng lớn nhất được chọn trong hai trường hợp: khi chọn theo cách tham lam (greedy), và khi chọn ngẫu nhiên mà tình cờ trúng đúng cánh tay đó. Trường hợp trước là 1 trừ 0.1 bằng 0.900, trường hợp sau là 0.1 chia cho 4 bằng 0.025, cộng lại được 0.925. 0.900 là giá trị bỏ sót phần trúng khi chọn ngẫu nhiên, 0.250 là xác suất khi chọn đều 1 trong 4 cánh tay, 0.100 là chính ε. Càng tăng ε thì việc khám phá càng tăng, và xác suất này càng giảm.

4 nhân 0.5 bằng 2, 12 nhân bình phương của 0.5 tức 0.25 bằng 3, 8 nhân lập phương của 0.5 tức 0.125 bằng 1, tổng lại là 6.0. 24.0 là giá trị cộng thẳng 4, 12, 8 mà không nhân chiết khấu nào; 12.0 là giá trị của 24 đó nhân thêm 1 lần 0.5; 7.5 là giá trị nhân ngược thứ tự — 4 với 0.125, 12 với 0.25, 8 với 0.5 — đều là những nhầm lẫn thường gặp. Vì vai trò của tỷ lệ chiết khấu là đánh giá phần thưởng càng xa trong tương lai càng nhỏ, nên phần gần hơn được gán trọng số lớn hơn.

Độ chính xác lấy mẫu số là những trường hợp được dự đoán là dương, nên lấy 40 dương thật chia cho tổng 40 dương thật và 10 dương giả tức 50, được 0.80. 0.67 là độ nhạy (recall) lấy mẫu số là những trường hợp thực sự dương, tức 40 chia cho tổng 40 dương thật và 20 âm giả tức 60. 0.85 là tỷ lệ chính xác tổng thể (accuracy), tức 170 trường hợp đúng trong tổng 200 trường hợp; 0.73 là F-score, trung bình điều hòa của độ chính xác 0.80 và độ nhạy 0.67 — tất cả đều là chỉ số khác bị tính nhầm.

Độ chính xác là "trong số những trường hợp được dự đoán là dương, tỷ lệ thực sự dương", nên mẫu số nằm ở phía dự đoán. Độ nhạy là "trong số những trường hợp thực sự dương, tỷ lệ đã bắt được", nên mẫu số nằm ở phía thực tế. Lỗi đổi chỗ hai cái này là phổ biến nhất, nên nên ghi nhớ theo hướng mẫu số là dự đoán hay thực tế. Lấy toàn bộ dữ liệu làm mẫu số là tỷ lệ chính xác tổng thể (accuracy); chỉ lấy âm thật hoặc âm giả làm mẫu số không phải là một trong hai chỉ số này. Khi muốn giảm nhận diện sai thì coi trọng độ chính xác, khi muốn giảm bỏ sót thì coi trọng độ nhạy.

F-score là trung bình điều hòa của độ chính xác và độ nhạy, nên lấy 2 nhân với tích của 0.6 và 0.9 tức 0.54, được 1.08, rồi chia cho tổng của 0.6 và 0.9 tức 1.5, được 0.72. 0.75 là giá trị tính nhầm thành trung bình cộng thay vì trung bình điều hòa; 0.54 chỉ là giá trị nhân hai số lại; 1.50 chỉ là giá trị cộng hai số lại. Cũng cần xác nhận rằng trung bình điều hòa bị kéo về phía số nhỏ hơn, nên nhỏ hơn trung bình cộng là 0.75.

Vì dương chỉ chiếm 1%, nên chỉ cần trả lời toàn bộ là âm thì đã đúng 99%, tỷ lệ chính xác tổng thể là 99%. Tuy nhiên vì không bắt được trường hợp dương thực sự nào nên độ nhạy là 0%, mô hình này không có giá trị sử dụng. Khi số lượng các lớp không cân bằng, nếu chỉ nhìn tỷ lệ chính xác tổng thể sẽ đánh giá sai, nên cần xem cả độ nhạy, F-score, đường cong ROC và AUC. Với thiết lập này, tỷ lệ chính xác tổng thể không thể là 1% hay 50%.

Đường cong ROC là đường cong được vẽ trong khi thay đổi ngưỡng phán định, với trục tung là tỷ lệ dương thật và trục hoành là tỷ lệ dương giả, và diện tích bên dưới nó là AUC. AUC càng gần 1 càng tốt, còn 0.5 nghĩa là ngang mức phán định ngẫu nhiên. Nếu đặt trục tung là độ chính xác và trục hoành là độ nhạy thì sẽ thành một đường cong khác, đây là điểm nhầm lẫn điển hình. Tổ hợp tỷ lệ chính xác tổng thể với số lượng dữ liệu, hay sai số với số lần lặp, là đồ thị khác dùng để xem quá trình học.

Cả AIC lẫn BIC đều là chỉ số cộng độ khớp với dữ liệu và một khoản phạt cho việc tăng tham số, giá trị càng nhỏ thì coi là mô hình càng tốt. Cho rằng càng lớn càng tốt là sai, và đây là điểm hay bị nhắm tới nhất. Nếu chỉ chọn theo độ khớp với dữ liệu huấn luyện thì sẽ toàn chọn mô hình nhiều tham số và dẫn tới quá khớp, nên đặt khoản phạt để cân bằng lại. Đây cùng hướng với cách nghĩ của dao cạo Occam — không phức tạp hóa hơn mức cần thiết.

Kiểm định chéo k-phần chia dữ liệu thành k phần, dùng 1 phần để kiểm định và phần còn lại để học, lặp lại thủ tục này k lần rồi lấy trung bình kết quả. Chia 200 trường hợp thành 5 phần thì mỗi cụm có 40 trường hợp, nên mỗi lần kiểm định dùng 40 trường hợp, học dùng 160 trường hợp còn lại, và lặp lại 5 lần. Chỉ chia và kết thúc 1 lần là kiểm định holdout, tính toán nhẹ nhưng dễ bị ảnh hưởng bởi cách chia. Dùng 160 trường hợp cho kiểm định là cách đếm nhầm lẫn giữa học và kiểm định.

Bình phương của các sai số là 4, 16, 16, 0, tổng lại là 36. Chia cho số lượng 4 thì được 9, đây là sai số bình phương trung bình (MSE), và căn bậc hai của nó là 3.0 chính là RMSE. 9.0 là giá trị trả lời nhầm ngay ở MSE; 2.5 là sai số tuyệt đối trung bình (MAE), tức trung bình của các giá trị tuyệt đối sai số 2, 4, 4, 0; 6.0 là giá trị quên chia cho số lượng và lấy căn bậc hai của tổng bình phương 36. RMSE dễ đọc vì cùng đơn vị với sai số gốc.

Tổng 84 chia cho số lượng 7 được trung bình là 12; khi sắp theo thứ tự tăng dần thì giá trị thứ 4 là 6 nên trung vị là 6; số 4 xuất hiện 2 lần nên là mốt. Điểm mấu chốt là chỉ riêng trung bình bị kéo mạnh bởi giá trị ngoại lai 50, trong khi trung vị và mốt hầu như không đổi — đây là ví dụ cho thấy không nên phán đoán chỉ dựa vào một giá trị đại diện. Giá trị đổi chỗ trung bình và trung vị, hay nhầm lẫn giữa trung vị và mốt, là những lỗi thường gặp.

Tương quan giả là hiện tượng tương quan xuất hiện giữa hai thứ không có quan hệ nhân quả trực tiếp, ví dụ doanh số kem và số vụ tai nạn đuối nước cùng biến động vì có yếu tố chung là nhiệt độ. Bài học ở đây là có tương quan không có nghĩa là có nhân quả, nên không thể nói hệ số tương quan dương thì đó là nguyên nhân và kết quả. Ngoài ra, dù hệ số tương quan bằng 0 vẫn có thể ẩn chứa quan hệ không tuyến tính, nên không thể khẳng định chắc chắn là không có quan hệ. Cách xử lý giá trị ngoại lai là một vấn đề khác.