Métodos e avaliação de aprendizado de máquina

Embora a regressão logística (ロジスティック回帰) tenha "regressão" no nome, ela é um método de classificação que converte o resultado de um cálculo linear em forma de probabilidade para determinar uma classe. Prever diretamente um valor contínuo é tarefa dos métodos para problemas de regressão, como a regressão linear (線形回帰), e ser levado a essa resposta pelo nome é um erro clássico. Encontrar agrupamentos sem rótulos de treinamento é o clustering (クラスタリング), tema do aprendizado não supervisionado, e melhorar a escolha de ações guiando-se pela recompensa é o aprendizado por reforço (強化学習) — ambos colocados em subtópicos separados.

Um problema de regressão (回帰問題) prevê um valor contínuo, como vendas ou temperatura, e um problema de classificação (分類問題) prevê uma classe discreta, como se um e-mail é spam ou não. Trocar os dois é o erro mais comum. O aprendizado supervisionado (教師あり学習) exige pares de características (特徴量) e rótulos de treinamento (教師データ) em qualquer dos dois tipos de problema, portanto não é verdade que um deles precise apenas de características. Aprender guiando-se apenas pela recompensa é o aprendizado por reforço, e isso não descreve o aprendizado supervisionado.

A análise de regressão simples (単回帰分析) tem uma variável explicativa (説明変数), e a análise de regressão múltipla (重回帰分析) tem duas ou mais. Como os caracteres de "simples" (単) e "múltipla" (重) indicam diretamente o número de variáveis explicativas, uma explicação que os troca está claramente errada. Ambos são métodos de regressão que preveem um valor contínuo, portanto também é incorreto dizer que um deles serve para classificação. Além disso, a análise de regressão é aprendizado supervisionado e exige rótulos de treinamento, seja qual for o número de variáveis.

A SVM realiza a maximização da margem (マージン最大化), traçando a fronteira na posição que maximiza a margem entre ela e o ponto de dados mais próximo. Esses pontos mais próximos são chamados de vetores de suporte (サポートベクター). Acrescentar repetidamente aprendizes enquanto aumenta o peso dos dados classificados incorretamente é a ideia por trás do boosting (ブースティング), e encontrar a direção de variância máxima é a ideia por trás da análise de componentes principais (PCA) — nenhuma das duas descreve a SVM. Traçar a fronteira pelo ponto médio entre os centroides não leva a margem em conta de forma alguma.

O truque do kernel (カーネルトリック) torna possível a separação não linear sem calcular de fato as coordenadas após o mapeamento para um espaço de dimensão maior, calculando diretamente, com uma função kernel (カーネル関数), o produto interno após esse mapeamento. Ele se chama "truque" justamente porque as coordenadas não precisam ser calculadas uma a uma, portanto uma explicação que diz que ele as calcula primeiro e depois separa tem a direção invertida. Dividir os dados sem rótulos de treinamento é um tema de clustering, e ele não é um mecanismo para reduzir o número de registros de treinamento.

O bagging (バギング) constrói os aprendizes em paralelo e de forma independente entre si, a partir de dados de treinamento criados por amostragem bootstrap (ブートストラップサンプリング), e depois faz uma votação por maioria ou uma média. O boosting (ブースティング) acrescenta aprendizes de forma sequencial, e cada novo aprendiz dá mais peso aos exemplos que o anterior errou, por isso depende da ordem e não pode ser construído em paralelo. Trocar paralelo e sequencial é o erro mais comum aqui. Ambos usam rótulos de treinamento, por serem aprendizado supervisionado, e os tipos de aprendiz fraco que podem ser usados não se limitam a árvores de decisão ou regressão linear.

A floresta aleatória (ランダムフォレスト) é um exemplo representativo de bagging: ela cria dados de treinamento ligeiramente diferentes por meio da amostragem bootstrap (ブートストラップサンプリング), que é uma amostragem com reposição, e faz crescer, em paralelo e de forma independente, muitas árvores de decisão a partir desses dados, fazendo depois uma votação por maioria ou uma média. Acrescentar árvores uma a uma, dando mais peso aos erros da árvore anterior, é a descrição do lado do boosting, como o gradient boosting (勾配ブースティング), e trocar isso é um erro clássico. Ela usa não uma única árvore, mas um grande número delas, e o que se combina são árvores de decisão, não regressões lineares.

Uma árvore de decisão (決定木) é um método que organiza condições de ramificação sobre as características em forma de árvore, e seu ponto forte é que uma pessoa consegue ler qual condição levou a qual ramo. Por outro lado, quanto mais profunda a árvore cresce, mais ela memoriza peculiaridades finas dos dados de treinamento, o que torna uma única árvore propensa ao sobreajuste (過学習). Aprofundá-la na verdade melhora o ajuste aos dados de treinamento, e o problema é que o desempenho cai mesmo assim com dados novos; portanto, dizer que o ajuste necessariamente piora é incorreto. A árvore de decisão é aprendizado supervisionado e pode ser usada tanto para classificação quanto para regressão.

Um modelo AR (自己回帰モデル) explica o valor atual de uma única série temporal (時系列) usando os valores passados dessa mesma série. Um modelo VAR (ベクトル自己回帰モデル) estende isso a várias séries temporais, fazendo com que elas se expliquem mutuamente pelos valores passados umas das outras. A diferença é uma série temporal versus várias, portanto uma explicação que troca isso está errada. Ambos são modelos para tratar séries temporais, não ferramentas para extrair características locais de imagens ou componentes de frequência do áudio, nem se distinguem por precisarem ou não de rótulos de treinamento.

A classificação multiclasse (多クラス分類) é um problema de classificação que determina a qual de três ou mais classes algo pertence, e atribuir um dígito manuscrito a um dos valores de 0 a 9 é um exemplo típico. Prever um valor contínuo, como o valor da temperatura máxima, é um problema de regressão, não de classificação. Encontrar agrupamentos de clientes semelhantes é clustering, uma forma de aprendizado não supervisionado, e escolher uma jogada com base na recompensa é aprendizado por reforço — nenhum dos dois é, para começar, um problema de classificação do aprendizado supervisionado.

O syllabus lista como objetivo entender que o aprendizado não supervisionado (教師なし学習) exige apenas características (特徴量). Sem rótulos de resposta correta, o aprendizado não supervisionado encontra a estrutura própria dos dados por meio de clustering ou redução de dimensionalidade (次元削減). Pressupor pares de características e rótulos de treinamento é o aprendizado supervisionado, e guiar-se pela recompensa é o aprendizado por reforço — cada um colocado em um subtópico separado. Descartar os dados restantes também não descreve o aprendizado não supervisionado.

O algoritmo k-means (k-means法) é um método de clustering não hierárquico que fixa antecipadamente o número de clusters k e repete as operações de atribuir cada ponto ao centroide mais próximo e recalcular os centroides. Fundir repetidamente os itens mais próximos sem definir o número de clusters é o clustering hierárquico (階層的クラスタリング), como o método de Ward, que pode gerar um dendrograma (diagrama de árvore). Maximizar a margem é a SVM, uma forma de aprendizado supervisionado, e estimar tópicos a partir de como as palavras aparecem é um modelo de tópicos (トピックモデル), como a alocação latente de Dirichlet (LDA).

O método de Ward (ウォード法) é um clustering hierárquico que funde repetidamente os itens mais próximos, em ordem, e o processo de fusão pode ser desenhado como um dendrograma (デンドログラム, diagrama de árvore). Sua vantagem é que o número de clusters pode ser decidido depois, observando em que altura cortar. É o k-means que é não hierárquico e fixa antecipadamente o número de clusters, e ele não gera um dendrograma. O método de Ward não é um método de redução de dimensionalidade nem de aprendizado supervisionado, e não usa rótulos de resposta correta.

A PCA (主成分分析) é uma redução de dimensionalidade (次元削減) linear que reorienta os eixos na direção de variância máxima, enquanto o t-SNE é um método não linear que mapeia para uma dimensão menor preservando a proximidade entre pontos vizinhos, e é muito usado para visualização em duas ou três dimensões. Trocar linear e não linear aqui é um erro clássico. Estimar os tópicos de um documento é um modelo de tópicos, como a alocação latente de Dirichlet (LDA), e decompor uma matriz é a decomposição em valores singulares (SVD, 特異値分解). Tanto a PCA quanto o t-SNE são aprendizado não supervisionado, portanto nenhum dos dois exige rótulos de treinamento.

Como a filtragem colaborativa (協調フィルタリング) recomenda com base na semelhança das avaliações entre usuários ou entre produtos, um usuário novo ou um produto novo que ainda não tem histórico de avaliações não oferece nenhuma pista, o que dificulta gerar recomendações. Esse é o problema da partida a frio (コールドスタート問題). A filtragem baseada em conteúdo (コンテンツベースフィルタリング), que se baseia no próprio texto de descrição ou nos atributos de um produto, é discutida ao lado dele como uma abordagem que compensa essa fraqueza. Não se trata de tempo de cálculo nem de estoque.

O aprendizado por reforço (強化学習) interage com um ambiente por tentativa e erro, aprendendo uma política (方策) que maximiza a recompensa (報酬) acumulada recebida. O guia é a recompensa, e não um rótulo de resposta correta para cada jogada, portanto ele não é uma forma de aprendizado supervisionado. Usar apenas a proximidade da distância como guia é a ideia por trás do clustering e de outros métodos de aprendizado não supervisionado, e a contagem de ocorrências de palavras é um tema de representação de características no processamento de linguagem natural — nenhum dos dois é o sinal de aprendizado do aprendizado por reforço. Avaliar o futuro com uma taxa de desconto (割引率), para o caso de a recompensa não vir imediatamente, também é uma característica dessa abordagem.

O syllabus lista como objetivo entender as duas abordagens representativas: aprender uma função de valor (価値関数) e aprender uma política (方策). A primeira estima uma função de valor de estado ou uma função de valor de ação e depois escolhe uma ação com base nela, tendo o Q-learning (Q学習) e o SARSA como exemplos representativos. A segunda representa a própria política com parâmetros e a atualiza diretamente, tendo os métodos de gradiente de política (方策勾配法) e o REINFORCE como exemplos representativos. O Actor-Critic combina um Actor, responsável pela política, e um Critic, responsável pelo valor, tendo os dois ao mesmo tempo. Uma explicação que diz que só existe uma das duas, ou que nenhuma delas pode ser objeto de aprendizado, está incorreta.

Ambos são métodos de aprendizado por reforço que atualizam uma função de valor de ação (行動価値関数), e diferem no que usam para a atualização. O Q-learning (Q学習) usa, entre as ações possíveis no estado seguinte, aquela com o valor máximo, enquanto o SARSA atualiza usando o valor da próxima ação realmente escolhida. Trocar os dois é um erro clássico. O Q-learning também atualiza uma função de valor de ação, então dizer que só um deles a usa não procede. Ambos são abordagens que aprendem pela recompensa, portanto também é errado dizer que exigem rótulos de treinamento.

O braço com o maior valor estimado é escolhido de duas maneiras: pela escolha gulosa (greedy), ou por acaso, quando a escolha aleatória cai justamente nesse mesmo braço. A primeira é 1 menos 0.1, o que dá 0.900, e a segunda é 0.1 dividido por 4, o que dá 0.025, totalizando 0.925. 0.900 é o valor obtido quando se esquece a chance de cair nele pela escolha aleatória; 0.250 é a probabilidade de escolher de forma uniforme entre os 4 braços; e 0.100 é apenas o próprio ε. Quanto maior for ε, mais exploração (探索) ocorre, e essa probabilidade diminui.

Multiplicar 4 por 0.5 dá 2, multiplicar 12 por 0.5 ao quadrado, ou seja, 0.25, dá 3, e multiplicar 8 por 0.5 ao cubo, ou seja, 0.125, dá 1, totalizando 6.0. 24.0 é o valor obtido somando 4, 12 e 8 sem aplicar nenhum desconto; 12.0 é esse 24 multiplicado por 0.5 apenas uma vez; e 7.5 é obtido invertendo a ordem da multiplicação, aplicando 0.125 a 4, 0.25 a 12 e 0.5 a 8 — todos erros comuns. Como o papel da taxa de desconto (割引率) é dar menos valor às recompensas de um futuro mais distante, as mais próximas recebem o peso maior.

A precisão (適合率) tem como denominador os casos previstos como positivos, então dividir os 40 verdadeiros positivos por 50, a soma de 40 verdadeiros positivos e 10 falsos positivos, dá 0.80. 0.67 é a revocação (再現率), que tem como denominador os casos realmente positivos, dividindo 40 por 60, a soma de 40 verdadeiros positivos e 20 falsos negativos. 0.85 é a acurácia (正解率), a proporção dos 170 acertos entre todos os 200 casos, e 0.73 é o F-score (F値), a média harmônica da precisão 0.80 e da revocação 0.67 — todos valores obtidos ao calcular uma métrica diferente.

A precisão (適合率) é "entre os casos previstos como positivos, a proporção que era realmente positiva", então seu denominador está do lado da previsão. A revocação (再現率) é "entre os casos realmente positivos, a proporção que foi detectada", então seu denominador está do lado real. Trocar as duas é o erro mais comum, por isso ajuda lembrar a diferença como previsão versus real. Ter o total de dados como denominador é a acurácia (正解率), e uma métrica que tem como denominador apenas os verdadeiros negativos ou apenas os falsos negativos não é nenhuma das duas. Quando se quer reduzir as detecções falsas, dá-se mais peso à precisão; quando se quer reduzir as detecções perdidas, dá-se mais peso à revocação.

O F-score (F値) é a média harmônica (調和平均) da precisão e da revocação, então multiplicar 2 por 0.54, o produto de 0.6 e 0.9, dá 1.08, e dividir isso por 1.5, a soma de 0.6 e 0.9, dá 0.72. 0.75 é o valor obtido ao calcular uma média aritmética em vez de uma média harmônica; 0.54 é simplesmente o produto dos dois; e 1.50 é simplesmente a soma deles. Vale também confirmar que a média harmônica é puxada para o valor menor, por isso fica menor que a média aritmética de 0.75.

Como apenas 1% é positivo, basta responder negativo para tudo para acertar 99%, então a acurácia (正解率) é de 99%. Porém, como nenhum positivo real é detectado, a revocação (再現率) é 0%, o que torna esse modelo inútil. Olhar apenas para a acurácia quando o número de casos das classes está desbalanceado (不均衡) leva a um julgamento errado, por isso é preciso verificar também a revocação, o F-score e a curva ROC com a AUC. Nessa situação, a acurácia nunca fica em 1% ou 50%.

A curva ROC (ROC曲線) é traçada variando o limiar de decisão e marcando a taxa de verdadeiros positivos (真陽性率) no eixo vertical contra a taxa de falsos positivos (偽陽性率) no eixo horizontal, e a área abaixo dela é a AUC. Quanto mais próxima de 1 for a AUC, melhor, enquanto 0.5 significa um nível equivalente a decidir ao acaso. Colocar a precisão no eixo vertical e a revocação no eixo horizontal produz uma curva totalmente diferente, e é aí que ocorre a confusão clássica. A acurácia combinada com o número de dados, ou o erro combinado com o número de iterações, são gráficos diferentes, usados para acompanhar o andamento do treinamento.

Tanto o AIC (赤池情報量規準) quanto o BIC (ベイズ情報量規準) são métricas que somam o quanto um modelo se ajusta aos dados e uma penalidade por ter mais parâmetros, e um valor menor indica um modelo melhor. Considerar que um valor maior é melhor está errado, e esse é o ponto mais cobrado. Escolher apenas pelo ajuste aos dados de treinamento acabaria sempre selecionando modelos com mais parâmetros, levando ao sobreajuste (過学習), e é por isso que se inclui uma penalidade para equilibrar. Isso segue a mesma direção da ideia da navalha de Occam (オッカムの剃刀): não tornar algo mais complexo do que o necessário.

A validação cruzada de k partes (k-分割交差検証) divide os dados em k partes e repete k vezes o procedimento de usar uma parte para validação e o restante para treinamento, fazendo a média dos resultados. Dividir 200 registros em 5 dá 40 registros por bloco, então a validação usa 40 registros a cada vez, o treinamento usa os 160 restantes, e isso é repetido 5 vezes. Dividir apenas uma vez e encerrar é a validação holdout (ホールドアウト検証), que é mais leve em termos de cálculo, mas mais sensível à forma como a divisão acaba sendo feita. Usar 160 registros para validação confunde treinamento e validação.

Os erros ao quadrado são 4, 16, 16 e 0, somando 36. Dividir isso pela quantidade, 4, dá 9, o erro quadrático médio (MSE, 平均二乗誤差), e sua raiz quadrada, 3.0, é o RMSE (二乗平均平方根誤差). 9.0 é a resposta deixada como MSE, sem tirar a raiz quadrada; 2.5 é o erro absoluto médio (MAE, 平均絶対値誤差), a média dos erros absolutos 2, 4, 4 e 0; e 6.0 é obtido esquecendo de dividir pela quantidade e tirando diretamente a raiz quadrada da soma dos quadrados, 36. O RMSE é fácil de interpretar porque tem a mesma unidade do erro original.

A soma, 84, dividida pela quantidade, 7, dá uma média (平均) de 12. O 4º valor, em ordem crescente, é 6, então a mediana (中央値) é 6, e 4, que aparece duas vezes, é a moda (最頻値). O ponto principal é que apenas a média é fortemente puxada pelo valor atípico (外れ値) 50, enquanto a mediana e a moda quase não se movem — um exemplo que mostra por que não se deve julgar com base em uma única medida resumo. Trocar média e mediana, ou confundir mediana e moda, são erros comuns.

A correlação espúria (疑似相関) é o fenômeno em que aparece correlação entre duas coisas que não têm relação causal direta, por causa de um fator comum subjacente — como quando as vendas de sorvete e o número de afogamentos variam juntos por causa de um fator compartilhado, a temperatura. A lição aqui é que correlação não implica necessariamente causalidade, então um coeficiente de correlação (相関係数) positivo não significa que uma coisa seja a causa da outra. Além disso, mesmo um coeficiente de correlação 0 pode esconder uma relação não linear, então não se pode concluir com certeza que não existe relação. A forma de tratar os valores atípicos é uma questão diferente desta.