La IA en la sociedad: derecho y ética

CRISP-DM consta de seis etapas: comprensión del negocio (ビジネス理解), comprensión de los datos, preparación de los datos, modelado, evaluación y despliegue. La primera es la comprensión del negocio, que define el problema de negocio que se debe resolver y los criterios de lo que se considera un éxito. Examinar la calidad y la distribución de los datos es la comprensión de los datos (データ理解), tratar los valores faltantes y crear características es la preparación de los datos (データ準備), e incorporar el modelo a un sistema de la empresa es la etapa de despliegue (展開). También conviene tener presente que las seis etapas no son un flujo en un solo sentido, sino que se representan como un ciclo que se repite volviendo a etapas anteriores.

PoC son las siglas en inglés de prueba de concepto (概念実証), y es el proceso de construir algo pequeño y probarlo antes de invertir en el desarrollo a gran escala, para confirmar si con esos datos se alcanza la precisión necesaria y, en caso afirmativo, si el negocio puede funcionar realmente con ello. Como el objetivo no es construir un producto terminado, si no se deciden de antemano las condiciones para seguir adelante y para retirarse, se acaban repitiendo pruebas que no dan resultados. Realizar la supervisión y el reentrenamiento tras el despliegue en producción es MLOps, asignar etiquetas de respuesta correcta es la anotación (アノテーション), y rediseñar el propio flujo de trabajo de la empresa es BPR; todos ellos se refieren a procesos distintos de una PoC.

La anotación (アノテーション) es el trabajo de añadir manualmente etiquetas de respuesta correcta o información de regiones a los datos en bruto, y es indispensable para el aprendizaje supervisado (教師あり学習). Si el criterio para poner las etiquetas varía de un trabajador a otro, eso fija en ese mismo punto el techo del rendimiento del modelo, por lo que la clave está en diseñar instrucciones de trabajo y un control de calidad. Reunir y organizar una gran cantidad de textos es un corpus (コーパス); dividir en conjuntos de entrenamiento y de validación, y tratar los valores faltantes y atípicos, son tareas distintas dentro de la preparación de los datos; ninguna es el acto de poner etiquetas en sí.

La fuga de datos (データリーケージ) es un fenómeno en el que información que en realidad no podría obtenerse en el momento de la predicción se mezcla en los datos de entrenamiento, haciendo que la precisión medida durante la validación resulte mucho más alta que la capacidad real. Se produce de formas como incluir la fecha en que se recibió una solicitud de baja al predecir la baja de clientes, calcular la media y la desviación estándar usadas en el preprocesamiento a partir de todo el conjunto de datos, incluidos los datos de validación, o dividir al azar datos de series temporales ignorando el orden temporal. Ajustarse demasiado a los datos de entrenamiento es el sobreajuste (過学習), y su causa no está en «usar información que no se debía usar», sino en «ajustarse demasiado». Que la cantidad de datos necesaria se dispare al aumentar las dimensiones es la maldición de la dimensionalidad; ambos tienen una causa distinta de la fuga.

MLOps es la idea de no dar por terminado el trabajo una vez desplegado un modelo, sino supervisar la distribución de los datos de entrada, la tendencia de las predicciones e incluso los indicadores del negocio, y mantener como sistema el ciclo de actualizar los datos de entrenamiento y reconstruir el modelo cuando aparece una desviación, para luego desplegarlo de nuevo. A medida que el mundo cambia, también cambia la tendencia de las entradas y la precisión disminuye silenciosamente, por lo que una sola comprobación no basta. Tomar prestados recursos de cálculo es el uso de la nube, y empaquetar el entorno de ejecución para poder reproducirlo es la función de Docker; ambos son herramientas que respaldan MLOps, pero ninguno es en sí la definición de MLOps.

BPR son las siglas en inglés de reingeniería de procesos de negocio (ビジネスプロセス・リエンジニアリング), y se refiere al esfuerzo de rediseñar el propio flujo de trabajo volviendo al propósito del negocio, en lugar de mejorar parcialmente el procedimiento existente. Si se coloca la IA encima manteniendo el procedimiento tal cual, puede ocurrir que solo se añada un paso en el que una persona transcribe la salida de la IA, sin producir ningún efecto; el éxito o el fracaso de la adopción de la IA se decide aquí con más frecuencia que por la precisión sola. Escuchar los requisitos es captar las necesidades de las partes interesadas (ステークホルダー), y dar a los datos una forma apta para el aprendizaje es la preparación de los datos; ninguno de los dos es el rediseño del proceso de negocio en sí.

El modelo en cascada (ウォーターフォール) es un enfoque que fija cada etapa en orden, empezando por la definición de requisitos, con la premisa de no volver atrás. Sin embargo, el desarrollo de IA tiene la característica de que no se sabe hasta dónde llegará la precisión hasta que se entrena realmente el modelo, por lo que el entregable y los requisitos no pueden fijarse de antemano. Por esa razón, las etapas de exploración y de PoC adoptan una forma ágil (アジャイル) que avanza mediante iteraciones cortas, y una vez que se vislumbra la precisión alcanzable, se usa una combinación en la que entonces se fija la etapa de desarrollo principal. Esta propiedad también afecta directamente al diseño del contrato de desarrollo, es decir, a si se usa un contrato de obra (ukeoi, 請負契約) o un contrato de cuasimandato (jun-inin, 準委任契約).

Docker es una tecnología que empaqueta como contenedor (コンテナ) el entorno de ejecución, incluidas la aplicación y sus bibliotecas. Como el mismo contenedor puede ejecutarse tanto en la máquina de desarrollo como en producción, se reducen las discrepancias del tipo «en mi máquina funcionaba» debidas a diferencias de versión. Conservar el progreso y los resultados junto con una explicación en un solo documento es Jupyter Notebook, hacer algo invocable por HTTP es una API web, y tomar prestados recursos de cálculo solo durante el tiempo necesario es el uso de la nube; todos ellos se refieren a otras herramientas que se usan en el desarrollo de IA.

Un corpus (コーパス) es una gran cantidad de datos de texto reunidos y organizados para el procesamiento del lenguaje natural. Según su uso, también puede llevar añadida información de categorías gramaticales o sintáctica. Una colección general de datos publicada para investigación y desarrollo es un conjunto de datos abierto (オープンデータセット), que incluye también imágenes y audio y no se limita al texto. Una representación vectorial de las palabras es un producto del entrenamiento, no una colección de datos, y el análisis morfológico (形態素解析) es un método para procesar texto; ninguno de los dos coincide con la definición de corpus. Tenga en cuenta que un corpus también tiene una licencia y condiciones de uso, por lo que hay que comprobar en cada caso si se permite el uso comercial o la redistribución.

La innovación abierta (オープン・イノベーション) es la idea de no encerrarse en la investigación y el desarrollo internos propios, sino incorporar activamente tecnología, conocimientos y personas del exterior para crear valor. El temario incluye en el mismo subtema la colaboración entre universidad y empresa (産学連携) y la colaboración con otras empresas o de otros sectores, y sus medios incluyen la investigación conjunta con universidades y otros centros de investigación, y la asociación con un socio que tenga datos o un canal de ventas que la propia empresa no tiene. Publicar algo gratuitamente es la idea del código abierto (オープンソース), que apunta en la dirección opuesta a la de incorporar recursos externos. Una estructura interdepartamental interna y el uso de conjuntos de datos publicados no se refieren, ninguno de los dos, a la colaboración con un actor externo.

La información procesada de forma anónima (匿名加工情報) se procesa de modo que no se pueda identificar a una persona concreta y que no se pueda restaurar la información personal original. Como se ha procesado hasta ese punto, siguiendo el procedimiento establecido puede proporcionarse a un tercero sin el consentimiento de la persona interesada. La información procesada con seudónimos (仮名加工情報), en cambio, se procesa hasta el grado en que no se puede identificar a una persona concreta salvo que se coteje con otra información; el esfuerzo de procesamiento es menor, como simplemente eliminar el nombre, y conserva su valor analítico, pero a cambio, en principio, no puede proporcionarse a un tercero y está pensada para el uso analítico interno de la empresa. Recuérdelo así: cuanto más ligero es el procesamiento, menos puede sacarse fuera; eso ayuda a no confundir ambas.

Los códigos de identificación personal (個人識別符号) incluyen datos de características físicas, como los datos de huellas dactilares, los datos de reconocimiento facial y los códigos convertidos a partir de secuencias de bases del ADN, así como números asignados a una persona, como el My Number, los números de pasaporte y los números del permiso de conducir. Estos constituyen información personal por sí solos, por lo que es incorrecto pensar que sin un nombre no son información personal. Que algo sea o no información personal tampoco depende de si se obtuvo el consentimiento al adquirirlo, ni se convierte en información personal solo una vez incorporado a una base de datos. Tenga en cuenta que la información organizada sistemáticamente de forma que pueda buscarse se denomina datos personales (個人データ), y a ella se aplican obligaciones adicionales.

El RGPD (GDPR) es el Reglamento General de Protección de Datos de la UE (一般データ保護規則), una norma de la UE distinta de la Ley de Protección de la Información Personal de Japón (個人情報保護法). Su rasgo distintivo es la aplicación extraterritorial (域外適用): si se dan circunstancias como ofrecer bienes o servicios a personas que se encuentran en la UE, o supervisar el comportamiento de personas dentro de la UE, puede aplicarse incluso a una empresa que desarrolla su actividad en Japón. Por tanto, no se puede juzgar si una empresa está sujeta a él solo por si tiene su sede en la UE. También hay que tener presente que no es una extensión de la ley japonesa y que tampoco es una orientación no vinculante.

El artículo 30-4 de la Ley de Derechos de Autor (著作権法 第30条の4) establece que, cuando el propósito no es disfrutar uno mismo de los pensamientos o sentimientos expresados en una obra protegida, ni hacer que otra persona los disfrute, la obra puede usarse en la medida en que se considere necesaria. «Disfrutar» (享受) se refiere a apreciar los pensamientos o sentimientos expresados en una obra para obtener satisfacción intelectual o emocional, y se entiende que el acto de leerla como datos para el aprendizaje automático no entra en este concepto. El apartado 2 del mismo artículo menciona expresamente el análisis de información (情報解析), y la creación y el uso de datos de entrenamiento entran en él. Estar publicada gratuitamente, no tener fines comerciales y que la cantidad usada sea pequeña no son, ninguno de ellos, requisitos establecidos por esta disposición.

El artículo 30-4 contiene una salvedad (ただし書き) que establece que no se aplica en los casos que, a la luz del tipo y el propósito de la obra protegida y de la forma de uso, perjudicarían injustificadamente los intereses del titular de los derechos de autor. Por tanto, no puede decirse que «para el entrenamiento de IA todo vale». Por ejemplo, si se copia sin comprarla una base de datos que se vende para fines de análisis de información y se usa para el entrenamiento, se considera que entra en la salvedad porque perjudica el mercado de esa base de datos. Además, aunque la etapa de entrada del entrenamiento sea lícita, si la salida generada se parece a una obra protegida existente, la infracción de los derechos de autor (著作権侵害) puede convertirse por separado en un problema en la etapa de salida, es decir, de generación o uso. La entrada y la salida se evalúan por separado. Si la obra se compró pagando o no, no es el criterio que decide si se aplica esta disposición.

Como los derechos de autor son un sistema que protege la expresión creativa de un ser humano, algo que una IA simplemente produjo de forma automática no se convierte en una obra protegida. Por otro lado, si un ser humano ha intervenido hasta el grado en que pueda decirse que le dio sus características creativas esenciales de expresión, hay margen para que se reconozca su condición de obra protegida (著作物性). La clave del juicio es la contribución creativa (創作的寄与), y se examinan caso por caso aspectos como la concreción de las instrucciones y del ensayo y error, y el grado de selección y corrección de la salida generada. Por tanto, son incorrectas tanto la opinión de que nunca se convierte en obra protegida como la de que la persona que dio la instrucción siempre obtiene derechos. Tenga en cuenta también que, independientemente de la Ley de Derechos de Autor, las condiciones de uso del servicio utilizado pueden establecer cómo se trata la salida generada, por lo que hay que comprobar ambas cosas.

Una invención de empleado (職務発明) es una invención realizada por un empleado como parte de sus funciones. El derecho a obtener una patente (特許を受ける権利) surge en principio en el empleado, que es el inventor, pero si se establece de antemano en las normas laborales o similares, puede hacerse que pertenezca al empleador desde el momento en que surge. En ese caso, se reconoce al empleado el derecho a recibir un beneficio razonable (相当の利益), monetario u otro beneficio económico, por lo que no es un sistema en el que se le quite el derecho sin ninguna compensación. El punto clave es también que no siempre pertenece al empleador, y que sí hay margen para que pertenezca al empleador: el tratamiento cambia según exista o no tal disposición.

Los tres requisitos de un secreto comercial (営業秘密) son que se gestione como secreto (gestión como secreto, 秘密管理性), que sea información técnica o comercial útil para las actividades empresariales (utilidad, 有用性) y que no sea de conocimiento público (no ser de conocimiento público, 非公知性); la protección se concede solo cuando se cumplen los tres. La novedad y la actividad inventiva son requisitos para obtener una patente, no requisitos de un secreto comercial. Mientras que una patente es un sistema que concede un monopolio a cambio de divulgar el contenido, un secreto comercial es un sistema que protege mediante la no divulgación, por lo que la información que no se quiere divulgar, como los pesos de un modelo entrenado o las soluciones ingeniosas en el preprocesamiento, se protege por esta vía.

Los datos de suministro limitado (限定提供データ) son información que se proporciona como actividad empresarial a personas determinadas, que está acumulada en una cantidad considerable por medios electromagnéticos y que está gestionada. Esta categoría se creó para proteger transacciones como la venta o el intercambio de datos, y su importancia radica en que puede protegerse sin cumplir los tres requisitos de un secreto comercial. Esto se debe a que, una vez que se proporciona a varias partes, no necesariamente cumple de forma estricta el requisito de no ser de conocimiento público (非公知性). La información que se guarda en secreto solo dentro de la propia empresa se protege, en cambio, por la vía del secreto comercial, y esta categoría no tiene relación con si se solicitó o se concedió una patente.

Un contrato de obra (ukeoi, 請負契約) es un contrato que promete la terminación de un trabajo; si no se termina, no se puede reclamar el pago, y se asume responsabilidad por un entregable que no se ajusta al contrato. Un contrato de cuasimandato (jun-inin, 準委任契約) es un contrato para encomendar la gestión de asuntos, y lo que promete no es la terminación, sino realizar el trabajo con el deber de diligencia de un buen administrador (善管注意義務). Como en el desarrollo de IA no se sabe qué precisión se puede alcanzar hasta que se entrena realmente el modelo, una división habitual es usar un contrato de cuasimandato para las etapas de exploración y de PoC, y un contrato de obra para la etapa de implementación, una vez fijada la especificación. Las Directrices de contratación para el uso de IA y datos del Ministerio de Economía, Comercio e Industria (経済産業省) también presentan este modelo de dividir el contrato por etapas.

El hard law (ハードロー, derecho vinculante) es la legislación establecida por el Estado, cuyo incumplimiento conlleva fuerza coercitiva, y a él pertenecen la Ley de Protección de la Información Personal (個人情報保護法) y la Ley de Derechos de Autor (著作権法). El soft law (ソフトロー, derecho blando) es un conjunto de normas sin fuerza jurídica vinculante, como las directrices, la autorregulación del sector y los códigos de conducta de las empresas. Como el soft law no es legislación, no se le aplica la distinción entre legislación con y sin sanciones. Tampoco es una distinción entre lo nacional y lo internacional, ni entre lo antiguo y lo nuevo. En los campos en los que la tecnología cambia rápidamente, se adopta el enfoque de indicar primero una dirección con soft law y convertir en legislación solo las partes necesarias, y la política de IA de Japón se centra, en lo fundamental, en el soft law.

El enfoque basado en el riesgo (リスクベースアプローチ) es la idea de variar la intensidad de la regulación o de la respuesta según la magnitud del riesgo que plantea el caso de uso de una IA. Incluso una misma tecnología de reconocimiento facial tiene un impacto completamente distinto sobre las personas según se use para desbloquear la pantalla de un teléfono o para la vigilancia constante en un espacio público. Imponer la misma regulación estricta sin importar el caso de uso frenaría incluso los usos de poco daño, mientras que relajarla de manera uniforme dejaría sin control los usos de mucho daño. Por eso se asignan obligaciones estrictas a los usos de gran impacto y un tratamiento ligero a los de poco impacto. Las empresas también aplican internamente la misma idea, clasificando sus proyectos de IA según el nivel de riesgo y enviando solo los de alto riesgo a una revisión estricta.

La privacidad desde el diseño (プライバシー・バイ・デザイン) es la idea de incorporar la protección de la privacidad desde la etapa de planificación y diseño, en lugar de añadir medidas después de que ocurra un problema. Decisiones como diseñar para no recopilar datos en primer lugar, eliminarlos tras el periodo necesario o procesarlos de forma que no permitan la identificación resultan más costosas cuanto más tarde se toman. Divulgar el fin de uso y limitar los permisos de consulta son, en sí mismos, esfuerzos correctos, pero carecen del punto de vista de cuándo se incorporan, por lo que no describen esta idea. Es un concepto complementario de la seguridad desde el diseño (セキュリティ・バイ・デザイン), que incorpora medidas de seguridad desde la etapa de diseño.

Una característica que acaba actuando como sustituto de un atributo sensible se denomina variable proxy (代理変数). Un código postal está fuertemente correlacionado con la raza y los ingresos a través de la zona de residencia, y el historial de centro de estudios o de actividades de clubes puede estar correlacionado con el género. Mientras queden características de este tipo, el modelo aprende indirectamente la misma discriminación aunque se elimine de la entrada la columna de género o de raza. Por tanto, la comprobación de la equidad (公平性) no se hace eliminando campos de entrada, sino agregando las salidas por atributo y midiendo la diferencia. Además, existen varias definiciones de equidad —como igualar la tasa de aceptación entre atributos o igualar la tasa de error— y, en general, no es posible cumplirlas todas al mismo tiempo, por lo que hay que elegir y explicar qué definición adoptar según el caso de uso.

Un Adversarial Attack (ataque adversario) es un ataque que añade a la entrada un cambio diminuto, casi imperceptible para el ojo humano, para hacer que un modelo en funcionamiento emita un juicio incorrecto. Se dirige a la etapa de inferencia; el modelo en sí no se reescribe. Mezclar manipulaciones en los datos de entrenamiento para distorsionar el resultado del entrenamiento es el envenenamiento de datos (データ汚染), que en cambio se dirige a la etapa de entrenamiento. Hacer un gran número de consultas para reproducir un modelo equivalente es la extracción de modelos (モデル窃取), y manipular los parámetros de un modelo o sus artefactos distribuidos es el envenenamiento de modelos (モデル汚染); cada uno se dirige a un momento y a un objetivo distintos. Las defensas contra cualquiera de ellos se basan en la idea de la seguridad desde el diseño (セキュリティ・バイ・デザイン), que incorpora la seguridad desde la etapa de diseño.

La extracción de modelos (モデル窃取) es un ataque que introduce un gran número de entradas en un modelo objetivo, recopila las salidas y reproduce localmente un modelo equivalente. Lo que se roba es el propio modelo, y puede lograrse incluso si el modelo solo se ofrece como API pública. La extracción de datos (データ窃取), en cambio, es un ataque que saca información que estaba en los datos de entrenamiento observando las salidas; lo que se roba en ese caso son los datos. Mezclar manipulaciones en los datos de entrenamiento es el envenenamiento de datos, y manipular los parámetros de un modelo o sus artefactos distribuidos es el envenenamiento de modelos; el primero se dirige a la etapa de entrenamiento, y el segundo a la etapa de entrenamiento o de distribución. Ordenarlos según qué se roba y en qué momento ayuda a no confundirlos.

La burbuja de filtros (フィルターバブル) es un fenómeno en el que un algoritmo de recomendación selecciona la información para ajustarla a las preferencias del usuario y, como resultado, esa persona acaba envuelta en una burbuja, viendo solo la información que se ajusta a sus propios gustos; la causa está en la optimización realizada por el algoritmo. Los usuarios ni siquiera son conscientes de que se está produciendo esta selección. La cámara de eco (エコーチェンバー) se da cuando personas con la misma opinión repiten la difusión y el apoyo mutuo en un espacio cerrado y llegan a creer que esa opinión es la única correcta, y su causa está en la tendencia humana a reunirse con personas similares. Que vídeos o audios falsos se acepten como auténticos corresponde a los deepfakes y las noticias falsas, y que el fundamento de un juicio no pueda rastrearse es el problema de la caja negra; ambos pertenecen a subtemas distintos.

Un deepfake (ディープフェイク) es una tecnología, y también su producto, que usa el aprendizaje profundo para crear vídeo o audio que haga parecer que una persona real dijo cosas que nunca dijo e hizo cosas que nunca hizo. Su núcleo es la suplantación de una persona real, por lo que su objetivo es distinto del de generar el rostro de una persona inexistente. Se usa para la difamación, el fraude y la injerencia en elecciones, y aumenta enormemente la capacidad de persuasión de las noticias falsas (フェイクニュース). Como contramedida, además de la investigación en tecnologías de detección, se avanza en incrustar información de procedencia en el momento de la grabación o la generación, de modo que pueda verificarse posteriormente si hubo alteraciones. Resumir textos y visualizar el fundamento de un juicio no tienen que ver, ninguno de los dos, con el uso indebido.

La procedencia de los datos (データの来歴) es un registro de qué datos se obtuvieron, de dónde, y cómo se procesaron antes de usarse para el entrenamiento. Sin este registro, cuando surge un problema en la salida no se puede rastrear hasta los datos que lo causaron, por lo que resulta imposible corregirlo o explicarlo. La transparencia (透明性) no significa solo divulgar el interior del modelo; también incluye mostrar, según el destinatario, para qué se usa, con qué datos se construyó y dónde están sus limitaciones. Reducir los recursos de cálculo, acelerar la inferencia y aumentar la cantidad de datos no son, ninguno de ellos, el propósito de registrar la procedencia. Junto con esto, también conviene tener presente la trazabilidad (トレーサビリティ), que permite rastrear qué datos, a través de qué modelo, produjeron qué decisión.

Una evaluación ética (倫理アセスメント) es un procedimiento que, en la etapa de planificación de un proyecto de IA, identifica y evalúa los impactos y riesgos previstos, y según el resultado se ajusta el rigor de la revisión posterior. Seguir vigilando las tendencias de la salida y las quejas después de iniciado el funcionamiento es la monitorización (モニタリング), confirmar desde una posición independiente si el funcionamiento sigue la política es una auditoría de la IA (AIに対する監査), y poner por escrito la política de la propia empresa y presentarla al exterior es una política de IA (AIポリシー); cada uno es un componente distinto que forma la gobernanza de la IA (AIガバナンス). Junto a ellos figuran mantener la intervención humana en los puntos clave de decisión, la reproducibilidad (再現性), que permite reconstruir un modelo más adelante, y la trazabilidad (トレーサビリティ), que permite rastrear el camino de una decisión.