A IA na sociedade: leis e ética

O CRISP-DM é composto por seis etapas: entendimento do negócio (ビジネス理解), entendimento dos dados, preparação dos dados, modelagem, avaliação e implantação. A primeira é o entendimento do negócio, que define o problema de negócio a ser resolvido e os critérios do que conta como sucesso. Examinar a qualidade e a distribuição dos dados é o entendimento dos dados (データ理解), tratar valores ausentes e criar características é a preparação dos dados (データ準備), e incorporar o modelo a um sistema de negócio é a etapa de implantação (展開). Vale também ter em mente que as seis etapas não são um fluxo de mão única, mas são representadas como um ciclo que se repete, voltando às etapas anteriores.

PoC significa prova de conceito (概念実証), e é o processo de construir algo pequeno e testá-lo antes de investir no desenvolvimento em escala real, para confirmar se aqueles dados alcançam a precisão necessária e, se alcançarem, se o negócio consegue de fato funcionar com isso. Como o objetivo não é construir um produto acabado, se as condições para avançar e para desistir não forem definidas antes, você acaba repetindo testes que não produzem resultados. Manter o monitoramento e o retreinamento após a implantação em produção é o MLOps, atribuir rótulos de resposta correta é a anotação (アノテーション), e redesenhar o próprio fluxo de trabalho do negócio é a BPR — todos se referem a processos distintos da PoC.

A anotação (アノテーション) é o trabalho de atribuir manualmente rótulos de resposta correta ou informações de região a dados brutos, e é indispensável para o aprendizado supervisionado (教師あり学習). Se o padrão de atribuição dos rótulos variar de um trabalhador para outro, isso define ali mesmo o teto de desempenho do modelo, por isso o planejamento das instruções de trabalho e da verificação de qualidade é fundamental. Reunir e organizar uma grande quantidade de texto é um corpus (コーパス); dividir em conjuntos de treinamento e validação, e tratar valores ausentes e valores atípicos, são tarefas distintas dentro da preparação dos dados — nenhuma delas é o ato de atribuir rótulos em si.

O vazamento de dados (データリーケージ) é um fenômeno em que informações que não poderiam realmente ser obtidas no momento da previsão se misturam aos dados de treinamento, fazendo a precisão medida na validação sair muito maior do que a capacidade real. Ele acontece de formas como incluir a data em que um pedido de cancelamento foi recebido ao prever a evasão de clientes, calcular a média e o desvio padrão usados no pré-processamento a partir de todo o conjunto de dados, incluindo os dados de validação, ou dividir aleatoriamente dados de séries temporais ignorando a ordem do tempo. Ajustar-se demais aos dados de treinamento é o sobreajuste (過学習), e sua causa não está em "usar informações que não deveriam ter sido usadas", mas em "ajustar-se demais". A quantidade de dados necessária aumentar bruscamente à medida que as dimensões crescem é a maldição da dimensionalidade (次元の呪い) — ambos têm causa diferente do vazamento.

O MLOps é a ideia de não dar as coisas por encerradas depois que um modelo é implantado, mas monitorar a distribuição dos dados de entrada, a tendência das previsões e até os indicadores de negócio, e manter como sistema o ciclo de atualizar os dados de treinamento e reconstruir o modelo quando surgir uma discrepância, implantando-o novamente. Quando o mundo muda, a tendência das entradas também muda, e a precisão cai silenciosamente, por isso uma única verificação não basta. Alugar recursos computacionais é o uso da nuvem (クラウド), e empacotar o ambiente de execução para reproduzi-lo é o papel do Docker — ambos são ferramentas que dão suporte ao MLOps, mas nenhum deles é, em si, a definição de MLOps.

BPR significa reengenharia de processos de negócio (ビジネスプロセス・リエンジニアリング), e se refere ao esforço de redesenhar o próprio fluxo de trabalho, voltando ao propósito do negócio, em vez de melhorar parcialmente o procedimento existente. Se você coloca a IA por cima mantendo o procedimento como está, pode acabar apenas acrescentando uma etapa em que uma pessoa transcreve a saída da IA, sem produzir efeito; o sucesso ou o fracasso da adoção de IA é decidido aqui com mais frequência do que apenas pela precisão. Ouvir os requisitos é entender as necessidades das partes interessadas (ステークホルダー), e dar aos dados uma forma que permita o aprendizado é a preparação dos dados — nenhum dos dois é o redesenho do processo de negócio em si.

O modelo em cascata (ウォーターフォール) é uma abordagem que fixa cada etapa em ordem, a partir da definição de requisitos, partindo da premissa de não voltar atrás. No entanto, o desenvolvimento de IA tem a característica de que não se sabe até onde a precisão vai chegar até treinar de fato o modelo, então o produto final e os requisitos não podem ser fixados com antecedência. Por isso, as etapas de exploração e de PoC assumem uma forma ágil (アジャイル), que avança por meio de iterações curtas, e, quando a precisão alcançável fica visível, usa-se uma combinação em que a etapa de desenvolvimento principal é então fixada. Essa característica também afeta diretamente o desenho do contrato de desenvolvimento, isto é, se será usado um contrato de empreitada (請負契約, ukeoi) ou um contrato de quase mandato (準委任契約, jun-inin).

O Docker é uma tecnologia que empacota o ambiente de execução, incluindo a aplicação e suas bibliotecas, como um contêiner (コンテナ). Como o mesmo contêiner pode ser executado tanto na máquina de desenvolvimento quanto em produção, diminuem as divergências como "funcionou na minha máquina" causadas por diferenças de versão. Guardar o andamento e os resultados junto com uma explicação em um único documento é o Jupyter Notebook, tornar algo chamável via HTTP é uma Web API, e alugar recursos computacionais apenas pelo tempo necessário é o uso da nuvem — todos se referem a outras ferramentas usadas no desenvolvimento de IA.

Um corpus (コーパス) se refere a uma grande quantidade de dados de texto reunidos e organizados para o processamento de linguagem natural. Dependendo do uso, ele também pode ter informações de classe gramatical ou sintáticas associadas. Um conjunto de dados em geral publicado para pesquisa e desenvolvimento é um dataset aberto (オープンデータセット), que inclui também imagens e áudio e não se limita a texto. A representação vetorial de palavras é um produto do treinamento, e não um conjunto de dados, e a análise morfológica (形態素解析) é um método de processamento de texto — nenhum dos dois corresponde à definição de corpus. Observe que um corpus também tem licença e termos de uso, por isso é preciso verificar caso a caso se o uso comercial ou a redistribuição são permitidos.

A inovação aberta (オープン・イノベーション) é a ideia de não ficar fechado na pesquisa e no desenvolvimento internos da própria empresa, mas trazer ativamente tecnologia, conhecimento e pessoas de fora para criar valor. O programa lista a colaboração entre indústria e academia (産学連携) e a colaboração com outras empresas ou outros setores no mesmo tópico intermediário, e seus meios incluem a pesquisa conjunta com universidades e outras instituições de pesquisa e a parceria com quem tem dados ou canais de venda que a própria empresa não tem. Disponibilizar algo gratuitamente é a ideia do código aberto (オープンソース), que aponta na direção oposta à de trazer recursos de fora. Uma estrutura interna entre departamentos e o uso de datasets publicados não se referem, nenhum dos dois, à colaboração com uma parte externa.

As informações anonimizadas (匿名加工情報), nos termos da Lei de Proteção de Informações Pessoais (個人情報保護法), são processadas de modo que um indivíduo específico não possa ser identificado e que as informações pessoais originais não possam ser restauradas. Como foram processadas a esse ponto, elas podem, seguindo o procedimento prescrito, ser fornecidas a terceiros sem o consentimento do titular. As informações pseudonimizadas (仮名加工情報), por outro lado, são processadas a ponto de um indivíduo específico não poder ser identificado a menos que sejam cruzadas com outras informações; o esforço de processamento é menor, como apenas remover o nome, e elas mantêm valor analítico, mas, em troca, em regra não podem ser fornecidas a terceiros, e destinam-se ao uso analítico interno da empresa. Lembre-se assim: quanto mais leve o processamento, menos as informações podem sair para fora — isso ajuda a não confundir as duas.

Os códigos de identificação individual (個人識別符号) previstos na Lei de Proteção de Informações Pessoais (個人情報保護法) incluem dados de características físicas, como dados de impressões digitais, dados de reconhecimento facial e códigos convertidos a partir de sequências de bases de DNA, além de números atribuídos a um indivíduo, como o My Number (マイナンバー), o número do passaporte e o número da carteira de habilitação. Eles constituem, por si sós, informações pessoais, por isso é incorreto pensar que, sem um nome, não são informações pessoais. Se algo é ou não informação pessoal também não é decidido pela obtenção ou não de consentimento no momento da coleta, e não se torna informação pessoal somente quando colocado em um banco de dados. Observe que as informações organizadas sistematicamente em um estado pesquisável são chamadas de dados pessoais (個人データ), e a elas se aplicam obrigações adicionais.

O GDPR é o Regulamento Geral sobre a Proteção de Dados (一般データ保護規則) da UE, uma legislação da UE distinta da Lei de Proteção de Informações Pessoais do Japão (個人情報保護法). Sua característica marcante é a aplicação extraterritorial (域外適用): se houver circunstâncias como oferecer bens ou serviços a pessoas que estão dentro da UE, ou monitorar o comportamento de pessoas dentro da UE, ele pode ser aplicado até a uma empresa que desenvolve no Japão. Portanto, não é possível julgar se uma empresa está sujeita a ele apenas pelo fato de sua sede estar ou não na UE. Também vale ter em mente que ele não é uma extensão da lei japonesa, nem uma orientação sem força vinculante.

O Artigo 30-4 da Lei de Direitos Autorais (著作権法 第30条の4) estabelece que, quando o objetivo não é a própria pessoa desfrutar os pensamentos ou sentimentos expressos em uma obra protegida, nem fazer com que outra pessoa os desfrute, a obra pode ser usada na medida considerada necessária. "Desfrutar" (享受) refere-se a apreciar os pensamentos ou sentimentos expressos em uma obra para obter satisfação intelectual ou emocional, e entende-se que o ato de carregá-la como dados para aprendizado de máquina não se enquadra nisso. O inciso 2 do mesmo artigo menciona explicitamente a análise de informações (情報解析), e a criação e o uso de dados de treinamento se enquadram aí. Ser publicada gratuitamente, não ter finalidade comercial e a quantidade usada ser pequena não são, nenhum deles, requisitos estabelecidos por esse dispositivo.

O Artigo 30-4 da Lei de Direitos Autorais (著作権法) contém uma ressalva (ただし書き) afirmando que ele não se aplica nos casos que, à luz do tipo e da finalidade da obra protegida e da forma de uso, prejudicariam injustificadamente os interesses do titular dos direitos autorais. Por isso, não se pode dizer que "para treinamento de IA, vale tudo". Por exemplo, se você copiar, sem comprá-lo, um banco de dados vendido para fins de análise de informações e usá-lo no treinamento, considera-se que isso se enquadra na ressalva, porque prejudica o mercado desse banco de dados. Além disso, mesmo que a etapa de entrada, o treinamento, seja lícita, se o resultado gerado se parecer com uma obra protegida existente, a violação de direitos autorais (著作権侵害) pode se tornar uma questão à parte na etapa de saída, a geração ou o uso. A entrada e a saída são avaliadas separadamente. Se a obra foi comprada mediante pagamento ou não, não é o critério que decide se esse dispositivo se aplica.

Como os direitos autorais são um sistema que protege a expressão criativa humana, algo que uma IA apenas produziu automaticamente não se torna uma obra protegida. Por outro lado, se uma pessoa participou a ponto de se poder dizer que ela deu à obra suas características criativas essenciais de expressão, há espaço para que a proteção por direitos autorais (著作物性) seja reconhecida. A chave do julgamento é a contribuição criativa (創作的寄与), e aspectos como o grau de especificidade das instruções e das tentativas e erros, e o grau de seleção e revisão do resultado gerado, são examinados caso a caso. Portanto, tanto o entendimento de que ele nunca se torna uma obra protegida quanto o de que a pessoa que deu a instrução sempre adquire direitos estão incorretos. Observe também que, independentemente da Lei de Direitos Autorais, os termos de uso do serviço utilizado podem estabelecer como o resultado gerado é tratado, por isso é preciso verificar ambos.

Uma invenção de empregado (職務発明) é uma invenção feita por um empregado como parte de suas funções. Segundo a Lei de Patentes (特許法), o direito de obter uma patente surge, em princípio, para o empregado, que é o inventor, mas, se isso estiver previsto com antecedência no regulamento de trabalho ou similar, o direito pode passar a pertencer ao empregador desde o momento em que surge. Nesse caso, reconhece-se ao empregado o direito de receber um benefício razoável (相当の利益) em dinheiro ou outro benefício econômico, portanto não é um sistema em que o direito é tomado sem nenhuma compensação. O ponto-chave é também que o direito nem sempre pertence ao empregador, e que há, sim, possibilidade de ele pertencer ao empregador — o tratamento muda conforme exista ou não essa previsão.

Os três requisitos de um segredo comercial (営業秘密), segundo a Lei de Prevenção da Concorrência Desleal (不正競争防止法), são: ser gerido como segredo (gestão como segredo, 秘密管理性), ser uma informação técnica ou comercial útil para as atividades da empresa (utilidade, 有用性) e não ser publicamente conhecido (não ser de conhecimento público, 非公知性); a proteção só é concedida quando os três são satisfeitos. A novidade (新規性) e a atividade inventiva (進歩性) são requisitos para obter uma patente, e não requisitos de um segredo comercial. Enquanto a patente é um sistema que concede exclusividade em troca da divulgação do conteúdo, o segredo comercial é um sistema que protege por meio da não divulgação, por isso informações que não se quer divulgar, como os pesos de um modelo treinado ou as soluções criativas no pré-processamento, são protegidas dessa forma.

Os dados de fornecimento limitado (限定提供データ), previstos na Lei de Prevenção da Concorrência Desleal (不正競争防止法), são informações fornecidas, como atividade comercial, a pessoas específicas, acumuladas em quantidade considerável por meios eletromagnéticos e gerenciadas. Essa categoria foi criada para proteger transações como a venda ou o compartilhamento de dados, e sua importância está em poder ser protegida sem satisfazer os três requisitos de um segredo comercial. Isso porque, uma vez fornecidos a várias partes, os dados não necessariamente satisfazem de forma estrita o requisito de não ser de conhecimento público. Informações guardadas como segredo apenas dentro da própria empresa são protegidas pelo lado do segredo comercial, e essa categoria não tem relação com o pedido ou a concessão de uma patente.

Um contrato de empreitada (請負契約, ukeoi) é um contrato que promete a conclusão de um trabalho; se ele não for concluído, o pagamento não pode ser cobrado, e há responsabilidade por um produto final que não esteja de acordo com o contrato. Um contrato de quase mandato (準委任契約, jun-inin) é um contrato para confiar a execução de tarefas, e o que ele promete não é a conclusão, mas executar o trabalho com o dever de diligência de um bom administrador (善管注意義務). Como no desenvolvimento de IA não se sabe que precisão é possível alcançar até treinar de fato o modelo, uma divisão comum é usar o contrato de quase mandato nas etapas de exploração e de PoC e o contrato de empreitada na etapa de implementação, quando a especificação já está definida. As Diretrizes de Contratos para a Utilização de IA e Dados (AI・データの利用に関する契約ガイドライン) do Ministério da Economia, Comércio e Indústria (経済産業省) também apresentam esse modelo de dividir o contrato por etapas.

A hard law (ハードロー) é a legislação estabelecida pelo Estado, cuja violação está sujeita a força coercitiva, e a Lei de Proteção de Informações Pessoais e a Lei de Direitos Autorais se enquadram nela. A soft law (ソフトロー) é um conjunto de normas sem força jurídica vinculante, como diretrizes, autorregulação do setor e códigos de conduta empresariais. Como a soft law não é legislação, a distinção entre leis com e sem penalidades não se aplica a ela. Também não é uma distinção entre nacional e internacional, nem entre antigo e novo. Em áreas em que a tecnologia muda rapidamente, adota-se a abordagem de primeiro indicar uma direção com a soft law e transformar em lei apenas as partes necessárias, e a política de IA do Japão é, em linhas gerais, centrada na soft law.

A abordagem baseada em risco (リスクベースアプローチ) é a ideia de variar a intensidade da regulação ou da resposta de acordo com o tamanho do risco que o caso de uso de uma IA representa. Mesmo a mesma tecnologia de reconhecimento facial tem um impacto completamente diferente sobre as pessoas se for usada para desbloquear a tela de um celular ou para a vigilância constante em um espaço público. Impor a mesma regulação rígida independentemente do caso de uso impediria até usos de baixo dano, enquanto afrouxá-la uniformemente deixaria sem controle os usos de alto dano. Por isso, obrigações rígidas são atribuídas aos usos de alto impacto e um tratamento leve aos de baixo impacto. As empresas também usam a mesma ideia internamente, classificando os projetos de IA internos por nível de risco e encaminhando apenas os de alto risco para uma análise rigorosa.

A privacidade desde a concepção (プライバシー・バイ・デザイン, privacy by design) é a ideia de incorporar a proteção da privacidade desde a etapa de planejamento e projeto, em vez de acrescentar medidas depois que um problema ocorre. Decisões como projetar para nem coletar os dados, apagá-los após o período necessário ou processá-los de forma que não permita identificação ficam mais caras quanto mais tarde são tomadas. Divulgar a finalidade de uso e limitar as permissões de visualização são, em si, iniciativas corretas, mas não consideram o momento em que são incorporadas, por isso não descrevem essa ideia. É um conceito que forma par com a segurança desde a concepção (セキュリティ・バイ・デザイン, security by design), que incorpora medidas de segurança desde a etapa de projeto.

Uma característica que acaba funcionando como substituta de um atributo sensível (センシティブ属性) é chamada de variável proxy (代理変数). O código postal tem forte correlação com raça e renda por meio da região de residência, e o histórico de escola ou de atividades em clubes pode ter correlação com o gênero. Enquanto essas características permanecerem, o modelo aprende indiretamente a mesma discriminação, mesmo que a coluna de gênero ou de raça seja removida da entrada. Portanto, a verificação da equidade (公平性) não é feita removendo campos da entrada, mas totalizando as saídas por atributo e medindo a diferença. Além disso, há várias definições de equidade — como igualar a taxa de aprovação entre atributos ou igualar a taxa de erro —, e em geral não é possível satisfazer todas ao mesmo tempo, por isso é preciso escolher e explicar qual definição adotar de acordo com o caso de uso.

Um Adversarial Attack (ataque adversarial) é um ataque que acrescenta à entrada uma alteração minúscula, quase imperceptível ao olho humano, para fazer um modelo em operação produzir um julgamento incorreto. Ele visa a etapa de inferência; o modelo em si não é alterado. Misturar dados adulterados aos dados de treinamento para distorcer o resultado do treinamento é o envenenamento de dados (データ汚染), que visa, em vez disso, a etapa de treinamento. Fazer um grande número de consultas para reproduzir um modelo equivalente é a extração de modelo (モデル窃取), e adulterar os parâmetros de um modelo ou os artefatos distribuídos é o envenenamento de modelo (モデル汚染) — cada um visa um momento diferente e um alvo diferente. A defesa contra qualquer um deles segue a ideia da segurança desde a concepção (セキュリティ・バイ・デザイン, security by design), que incorpora a segurança desde a etapa de projeto.

A extração de modelo (モデル窃取) é um ataque que fornece um grande número de entradas a um modelo-alvo, coleta as saídas e reproduz para si um modelo equivalente. O que é roubado é o próprio modelo, e isso pode ser feito mesmo que o modelo seja oferecido apenas como uma API pública. A extração de dados (データ窃取), em contrapartida, é um ataque que obtém informações que estavam nos dados de treinamento observando as saídas; o que é roubado, nesse caso, são os dados. Misturar dados adulterados aos dados de treinamento é o envenenamento de dados, e adulterar os parâmetros de um modelo ou os artefatos distribuídos é o envenenamento de modelo — o primeiro visa a etapa de treinamento, e o segundo, a etapa de treinamento ou de distribuição. Organizar pelo que é roubado e em que momento ajuda a não confundi-los.

Uma bolha de filtro (フィルターバブル) é um fenômeno em que um algoritmo de recomendação seleciona as informações para combinar com as preferências do usuário e, como resultado, essa pessoa acaba envolta em uma bolha, vendo apenas informações adequadas ao seu próprio gosto; a causa está na otimização feita pelo algoritmo. Os usuários nem sequer percebem que essa seleção está acontecendo. Uma câmara de eco (エコーチェンバー) ocorre quando pessoas com a mesma opinião repetem a divulgação e a concordância entre si em um espaço fechado, passando a acreditar que essa opinião é a única correta, e sua causa está na tendência humana de se reunir com pessoas parecidas. Vídeos ou áudios falsos serem recebidos como autênticos é o caso dos deepfakes e das notícias falsas, e a base de um julgamento não poder ser rastreada é o problema da caixa-preta — ambos pertencem a outros tópicos intermediários.

Deepfake (ディープフェイク) se refere a uma tecnologia, e ao produto resultante, que usa aprendizado profundo para criar vídeos ou áudios que fazem parecer que uma pessoa real disse coisas que nunca disse e fez coisas que nunca fez. Fazer-se passar por uma pessoa real está no centro disso, por isso seu objetivo é diferente de gerar o rosto de uma pessoa inexistente. É usado para difamação, fraude e interferência em eleições, e aumenta muito o poder de persuasão das notícias falsas (フェイクニュース). Como contramedida, além da pesquisa em tecnologias de detecção, avançam esforços para embutir informações de procedência (来歴) no momento da filmagem ou da geração, de modo que alterações posteriores possam ser verificadas. Resumir textos e visualizar a base de um julgamento não são, nenhum dos dois, assuntos de uso indevido.

A procedência dos dados (データの来歴) é um registro de quais dados foram obtidos de onde e de como foram processados antes de serem usados no treinamento. Sem esse registro, quando surge um problema na saída, não é possível rastrear até os dados que o causaram, o que impossibilita corrigir ou explicar. A transparência (透明性) não significa apenas divulgar o funcionamento interno do modelo; inclui também mostrar, de acordo com o público, para que ele está sendo usado, com quais dados foi construído e onde estão suas limitações. Reduzir recursos computacionais, acelerar a inferência e aumentar a quantidade de dados não são, nenhum deles, o objetivo de registrar a procedência. Junto com isso, vale também conhecer a rastreabilidade (トレーサビリティ), que torna possível rastrear quais dados, passando por qual modelo, produziram qual decisão.

Uma avaliação ética (倫理アセスメント) é um procedimento que, na etapa de planejamento de um projeto de IA, identifica e avalia os impactos e riscos previstos, e o rigor da análise posterior é ajustado de acordo com o resultado. Continuar acompanhando as tendências das saídas e as reclamações depois que a operação começou é o monitoramento (モニタリング), confirmar a partir de uma posição independente se a operação segue a política é a auditoria de IA (AIに対する監査), e registrar por escrito a política da própria empresa e apresentá-la externamente é a política de IA (AIポリシー) — cada um é um componente diferente da governança de IA (AIガバナンス). Ao lado desses estão manter a participação humana nos pontos-chave de decisão, a reprodutibilidade (再現性), que torna possível reconstruir um modelo depois, e a rastreabilidade (トレーサビリティ), que torna possível rastrear o caminho de uma decisão.