Podría ser una parte de la propia naturaleza de la inteligencia el hecho de que sólo una fracción está sujeta a explicaciones…

…resulta fácil imaginar que al recibir una recomendación de un restaurante, se quiera conocer el razonamiento subyacente.

Smart Lighting – El secreto más oscuro de la inteligencia artificial: ¿por qué hace lo que hace?

Adam Ferriss

La misteriosa mente de este vehículo señala un problema cada vez más palpable de la inteligencia artificial. La tecnología de IA del coche, conocida como aprendizaje profundo ha tenido mucho éxito resolviendo problemas en los últimos años, y cada vez se usa más en labores como generar subtítulos, reconocer la voz y traducir idiomas. Estas mismas técnicas podrían llegar a ser capaces de diagnosticar enfermedades mortales, tomar decisiones bursátiles multimillonarias y transformar industrias al completo.

Pero esto no sucederá  (o no debería) a menos que consigamos que las técnicas como el aprendizaje profundo resulten más comprensibles para sus creadores y rindan cuentas ante los usuarios. En caso contrario, resultará difícil predecir cuándo se podrían producir fallos, los cuales son inevitables. Este es uno de los motivos por los que el coche de Nvidia aún es experimental.

Ya se están empleando modelos matemáticos para ayudar a determinar quién recibe la libertad condicional, quién es apto para obtener préstamos y quién es contratado para ocupar un puesto vacante. Si se pudiese acceder a estos modelos matemáticos, sería posible entender su razonamiento. Pero los bancos, el ejército y los empleadores están centrándose en enfoques de aprendizaje automático aún más complejos que podrían resultar totalmente inescrutables.

…

El líder del equipo de Siri de Apple, Tom Gruber, dice que el carácter explicable es una consideración clave para su equipo en sus esfuerzos por hacerla más inteligente y hábil. Gruber no quiso hablar de planes específicos para el futuro de Siri, pero resulta fácil imaginar que al recibir una recomendación de un restaurante, se quiera conocer el razonamiento subyacente. El director de investigaciones de IA de Apple y profesor de la Universidad de Carnegie Mellon (EEUU), Ruslan Salakhutdinov, considera que la capacidad de explicarse es el núcleo de la relación en evolución entre los humanos y las máquinas inteligentes. “Va a generar confianza”, afirma.

…

Al igual que muchos aspectos del comportamiento humano resultan imposibles de explicar en detalle, tal vez no será posible que la inteligencia artificial llegue a explicar todo lo que hace. “Incluso si alguien te puede dar una explicación razonable [de sus acciones], probablemente estará incompleta, y lo mismo podría aplicarse a la inteligencia artificial”, sugiere Clune. El experto añade: “Simplemente podría ser una parte de la propia naturaleza de la inteligencia el hecho de que sólo una fracción está sujeta a explicaciones racionales. Parte de ella es simplemente instintiva, o subconsciente o inescrutable”.

…

Al igual que la sociedad se construye sobre una base de comportamientos aceptables, necesitaremos diseñar los sistemas de IA para respetar y encajar con nuestras normas sociales. Si vamos a crear tanques robóticos y otras máquinas de matar, es importante que su toma de decisiones concuerde con nuestros juicios éticos.

Daniel Dennett, que estudia la consciencia y la mente. Un capítulo de su último libro, From Bacteria to Bach and Back, un tratado enciclopédico sobre la consciencia, sugiere que una parte natural de la evolución de la propia inteligencia consiste en desarrollar sistemas capaces de ejecutar tareas que sus creadores son incapaces de ejecutar. “La pregunta es: ¿qué adaptaciones tenemos que hacer para hacerlo bien, qué estándares debemos exigirles que cumplan a ellos, y a nosotros mismos?”, me pregunta dentro de su abarrotado despacho en el idílico campus de la universidad.

También me hizo una advertencia sobre la búsqueda del carácter explicable: “Creo que si vamos a utilizar estas cosas y depender de ellas, entonces necesitamos el mejor entendimiento posible de cómo y por qué nos proporcionan respuestas”, sugiere. Pero, puesto que podría no existir ninguna respuesta perfecta, deberíamos mostrarnos igual de cautelosos ante las explicaciones de la IA como nos mostramos ante las explicaciones humanas, independientemente de lo lista que parezca la máquina. Dennet concluye: “Si no puede explicar lo que hace mejor que nosotros, entonces no te fíes”.