Siempre hemos temido al robot autoconsciente: hay argumentos técnicos y filosóficos para dotarles de "razón"
Xataka
Pablo G. Bejerano
25/07/2026 12:46
6 vistas
Artículo Completo2,556 palabras
Uno de los grandes temas de la ciencia ficción se ha convertido hoy en objeto de debate en el sector de la robótica. Que las máquinas tengan consciencia aumentaría su utilidad en ciertas circunstancias y algunos investigadores trabajan para lograr esta meta. Aunque el concepto no se aplica en los robots como se aplica en las personas.
Ricardo Sanz, profesor de la Universidad Politécnica de Madrid (UPM), acude a congresos de consciencia en las máquinas desde hace más de dos décadas. Recuerda su primera convención sobre consciencia artificial como una reunión variopinta: “Era en Suecia, éramos 250 personas y había más monjas que ingenieros”. Allí estaban representadas una amalgama de disciplinas, desde la metafísica a la biología pasando por la computación.
Sanz, que fundó y coordina el Laboratorio de Sistemas Autónomos de la UPM, aclara que existe una diferencia entre lo que los anglosajones llaman ‘conciousness’, que apela a la consciencia vinculada a lo metafísico, y ‘awarness’, que consiste en la autopercepción propia y del entorno, más relacionada con la realidad palpable. En castellano el lenguaje no hace esa distinción.
En Xataka
Westworld y uno de los grandes dilemas éticos del siglo XXI: ¿es lícito "violar" o "matar" a un robot autoconsciente?
“Yo me dedico a las máquinas conscientes, pero me dedicó fundamentalmente a investigar cómo conseguir máquinas que se den cuenta de las cosas y entiendan lo que está pasando para ser más eficaces. Que sepan reconocer qué es importante y qué no es importante en un momento determinado”, apunta Sanz. “No estoy interesado en replicar consciencia humana ni consciencia animal. No tocamos lo que los filósofos llaman qualia, la naturaleza de las sensaciones y la experiencia”.
Nada que ver con lo que ocurre en los relatos de Isaac Asimov, como El hombre bicentenario (1976), donde un robot con nombre y apellido (Andrew Martin) anhela volverse humano, o en la afamada película Blade Runner. Aunque la cinta ha eclipsado al libro en el que se basó, la novela de Philip K. Dick tiene un título arrollador: ‘¿Sueñan los androides con ovejas eléctricas?’. Bajo esta frase antiestética y poco inteligible hay un planteamiento estimulante: los robots han alcanzado un nivel de autoconsciencia que se acerca demasiado a aspectos considerados terreno exclusivo de los humanos.
El camino hacia la inteligencia
El trabajo de Sanz y su equipo pretende dotar a las máquinas de una capacidad para manejar cualquier incidencia con soltura. Por ejemplo, si un robot se va a quedar sin batería porque está al 7% y le queda aún ir con una mercancía y volver a su puesto, debería ser capaz de preverlo y poner una solución. Esto ya se hace con sistemas específicos de tolerancia a fallos, que evitarían en este caso que el robot se quedase a medio camino.
Pero se hace de una forma artesanal, a mano. Se escribe un programa para evitar que se quede sin batería, otro por si se topa con una persona en su camino. Pero no hay un sistema unificado capaz de solucionar todos estos problemas.
“Nosotros investigamos de qué manera se pueden manejar todas estas situaciones de una forma integral. Un sistema que le permita al robot incorporar cualquier cosa que necesite comprender. Se trata de que las representaciones mentales del robot sean más adecuadas para las realidades a las que se enfrenta”, expone el profesor de la UPM.
En Xataka
Tenemos un problema filosófico con las IA generativas: nos están dando la razón en todo lo que les pedimos
Hay quienes van más allá. A lo largo de décadas, la consciencia en las máquinas ha sido un tema recurrente. En 1995, el profesor de la Universidad de Stanford John MacCarthy, que fuera uno de los pioneros en inteligencia artificial en los años 50, avanzó el trabajo ‘Making Robots Conscious of their Mental States’. Años después, en 2002, lo revisó y publicó con un enfoque que identificaba la consciencia de las máquinas como un conocimiento introspectivo.
Para el autor del ensayo, los robots necesitan esta capacidad para operar en el mundo real y llevar a cabo tareas propias de los humanos. Un robot, por ejemplo, debería ser capaz de inferir que no sabe algo —tener conocimiento de su ignorancia respecto a una cuestión— para tomar decisiones. Así podría buscar la información que le falta fuera o seguir su proceso de razonamiento hasta estar seguro de haber dado con una solución al problema planteado.
“La consciencia se define más o menos como sintiencia”, agrega el profesor de Filosofía y divulgador Santiago Sánchez-Migallón. “Es tener un campo fenoménico. Una máquina tendría que tener un espacio subjetivo en el cual perciba colores, perciba sonidos, tenga sensaciones táctiles, incluso tenga emociones y recuerdos”. ¿También se necesitan emociones? La respuesta es clara: “Consciencia es la capacidad captar el mundo y muchas veces captamos el mundo emocionalmente. Así que las emociones entrarían”, afirma el profesor de Filosofía.
Y es que definir bien la consciencia es clave para decidir si las máquinas la necesitan. “Si equiparamos con lo que es la consciencia humana, en mi opinión, no necesitamos consciencia en las máquinas”, señala el catedrático de la Universitat Politècnica de València (UPV) Vicent Juan Botti Navarro, que dirige el Instituto Universitario Valenciano de Investigación en Inteligencia Artificial (VRAIN). “Creo que no es necesario en ese sentido para resolver problemas, para poder automatizar procesos, tanto industriales como administrativos o de otro tipo”.
En Xataka
Esto no es el apocalipsis: doce puntos optimistas sobre ChatGPT y el futuro que nos espera
Para Botti, el término tiene un carácter filosófico inapelable. En cuanto a los debates sobre si los modelos de lenguaje de hoy en día tienen o no consciencia, su opinión es categórica: no se pueden considerar conscientes.
Más allá de las ramificaciones filosóficas, Sanz se centra en el pragmatismo: “Si hacemos robots que se mueven y que utilizan láseres de barrido para medir la distancia entre los objetos y, de repente, el láser falla, el robot tiene que darse cuenta de eso y tomar decisiones correctas. Porque si un robot se mueve con un láser que está fallando, va a chocar con las cosas”.
Hay otro escenario en el que las máquinas se benefician de un entendimiento más profundo del entorno. “Si una persona habla a un robot, este tiene que entender que esta persona le dice algo por un motivo. Tiene que entender que hay una intención detrás. Además, el robot ve los gestos y debe saber interpretarlos. Cuando la persona le ofrece un objeto, el robot debe saber que lo tiene que coger”, explica el profesor de la UPM. “Los seres humanos entendemos este tipo de cosas de forma natural. Pero en los robots hay que programar cada una de ellas muy en detalle y de forma poco flexible”.
¿Para qué queremos máquinas conscientes?
Un sistema universal, equivalente a la capacidad que desarrollamos las personas para tratar con la realidad física, permitiría que no hubiera que programar cada aspecto de una máquina, cada posible excepción. Esto permitiría robots que se muevan mejor en las fábricas, capaces de trabajar al lado de personas y moverse entre ellas.
Esta capacidad para generalizar de manera acertada sería importante en cualquier sistema que reciba información mediante sensores y tome decisiones. Sanz pone un ejemplo ilustrativo: “Un coche autónomo que va por la autopista ve un anuncio de una hamburguesería que dice ‘pare aquí’ y tiene pintada una señal de ‘Stop’ en el cartel. El autopiloto puede ver la señal de ‘Stop’ y frena en seco en la autopista. Este tipo de situaciones demuestran que las máquinas no entienden a fondo la realidad aunque la vean”.
En Xataka
Las inteligencias artificiales creativas van a matar el arte otra vez. No tiene la más mínima importancia
La percepción del entorno existe hoy de forma compartimentada. “Un robot que tiene que ir desde A hasta B puede tener en su conocimiento un mapa del mundo por donde se tiene que mover. Como conoce los distintos caminos que hay, toma el camino más corto. Pero ve que hay una puerta cerrada. Es reactivo y percibe el entorno. Por tanto, busca otro camino. Replanifica con la información que tiene”, plantea Botti. Es un ejercicio parecido al que podría hacer un GPS recalculando ruta si obtiene información sobre una carretera cortada.
Esta capacidad de reacción procede, en primer lugar, de la percepción. Y se busca desde hace tiempo. “En la teoría de los agentes autónomos, en la que se trabaja desde los años 90, una de las propiedades que tiene que tener un software para llamarse agente es que sea reactivo. Esto quiere decir que tiene que percibir el entorno y actuar sobre él. Pero no lo llamamos consciencia”, asevera el catedrático de la UPV.
¿Y qué hay de la consciencia en un sentido introspectivo, similar a la humana? También hay motivaciones para intentar reproducirla. “A nivel de investigación, si se consiguiera, sería un logro increíble. Al que lo hiciera le caerían seis premios Nobel”, comenta el profesor de Filosofía Sánchez-Migallón, y añade: “Para construir una consciencia artificial deberíamos entender muy bien cómo el cerebro, nuestro tejido nervioso, genera consciencia”.
Intentar desarrollar un cerebro artificial es una forma de conocer mejor el nuestro. “Si te acuerdas de tu abuela y te pones feliz lo que ocurre en tu cerebro es que ciertas neuronas se activan y liberan neurotransmisores, como serotonina o dopamina. Esos neurotransmisores hacen que te sientas contento. Te crean la experiencia subjetiva de la felicidad. Pero ahora mismo no tenemos ni idea de cómo esas moléculas provocan esa sensación cuando piensas en tu abuela”, cuenta Sánchez-Migallón. Y recalca que los intentos de reproducir artificialmente estos procesos aumentan el conocimiento sobre nuestros propios mecanismos naturales.
En busca del factor que define la consciencia
El fenómeno de la consciencia es un misterio. Ese es el punto de partida. Y la eventual creación de una consciencia artificial solo añade complejidad al asunto. Un paper publicado en la revista Sicence en 2017, antes del boom de los LLMs, se planteaba si las máquinas serían conscientes alguna vez.
Los autores describen la consciencia como cálculos de procesamiento de información que el cerebro realiza. Lo hace de forma física y según una solución arquitectónica para resolver problemas de integración de datos. De manera que el fenómeno sería reproducible con una arquitectura de computación, según el paper.
Además, fijaban varios niveles de consciencia. El C0 sería el nivel que corresponde al grueso de la inteligencia humana, que reconoce objetos, comprende el lenguaje y realiza aprendizaje por refuerzo. El siguiente, C1, implica una relación entre el sistema cognitivo y los objetos, que permite generar una representación mental. Mientras que el último nivel, C2, consiste en la capacidad de un sistema para observar sus propios procesos que deriva en la metacognición.
En Xataka
Siempre se ha dicho que la carrera de Filosofía "no tiene salidas". La industria de la IA está demostrando lo contrario
Pese a todo, no está claro dónde poner el listón para afirmar que una máquina es consciente. Un debate del que también se ha nutrido la ciencia ficción. La serie Westworld narra un despertar de la consciencia en los robots, mientras en la película de Alex Garland, Ex Machina, el objetivo es desentrañar hasta qué punto es consciente la androide Ava. Estas historias entran en un terreno especulativo que por ahora no ha abandonado la ficción.
Para Sánchez-Migallón quizá nunca lo haga: “No creo que una máquina como las que tenemos hoy en día, que son solo cómputo, pueda generar consciencia. Es solo código informático, es código que puede hacer cálculos. A esa máquina habría que incorporarle algo más para que tenga consciencia”.
Aunque en ese caso surgirían otros problemas. “Si las máquinas son conscientes, ¿van a ser responsables de sus actos?, ¿van a tener responsabilidad legal? Son temas que trascienden lo técnico y también lo metafísico”, cuestiona Sanz, y desarrolla su reflexión: “Las máquinas se van acercando a ese punto en que se parecen a un adulto capaz. En algún momento las máquinas serán responsables y habrá que ver cómo se las va a penalizar, porque meter un coche autónomo en la cárcel porque ha atropellado a alguien es absurdo”.
Es imposible no pensar en escenarios planteados en el cine, como en Blade Runner o en Yo, robot (basado en relatos de Asimov). En ellas la reprobación de las máquinas es simple: se eliminan (o “se retiran”, como ocurre con los replicantes). Pero en la realidad el escarmiento se quedaría cojo.
“Si la máquina no puede sufrir, el castigo no tiene ningún sentido”, apunta Sánchez-Migallón. “El límite estaría en la capacidad de sentir dolor. Si podemos crear una máquina que sufre, ahí hay un sujeto de derechos. A esa máquina hay que darle protección legal. Tú no puedes crear algo que sufre y dejarlo al libre albedrío, para que hagan con él lo que quieran”.
En Xataka
El nuevo fichaje estrella de la IA no es un ingeniero ni un científico de datos, pero domina el estoicismo: los filósofos
De la misma forma, esa capacidad de sufrir permitiría ejercer un castigo potencial directamente contra la máquina. Sin que esto borre la responsabilidad del propio fabricante del sistema autónomo o de su dueño. “Para hacer una acción moral no hace falta ser consciente. Una máquina inteligente puede tomar acciones morales. Por ejemplo, un dron de combate puede escoger su blanco”, advierte el profesor de Filosofía.
Es un campo muy abierto donde la referencia es la comparación con los humanos. “Está claro que los modelos de IA pueden imitar ciertas capacidades humanas. Pero si planteas dilemas éticos, ¿esa IA va a resolverlos?”, se pregunta Botti, para responder de inmediato: “No tienen experiencia. Los humanos, sin embargo, acabamos dándoles vueltas y resolviéndolos”. Este es uno de los signos distintivos claros entre las personas y los robots autónomos. De momento.
En Xataka | En 2016 a Stephen Hawking le preguntaron por el futuro de la humanidad: su respuesta no dejó tranquilo a nadie
En Xataka | Ni Nick Bostrom, ni Alex Karp: el filósofo que mejor ha entendido nuestra relación con la inteligencia artificial es Michel Foucault
-
La noticia
Siempre hemos temido al robot autoconsciente: hay argumentos técnicos y filosóficos para dotarles de "razón"
fue publicada originalmente en
Xataka
por
Pablo G. Bejerano
.
Uno de los grandes temas de la ciencia ficción se ha convertido hoy en objeto de debate en el sector de la robótica. Que las máquinas tengan consciencia aumentaría su utilidad en ciertas circunstancias y algunos investigadores trabajan para lograr esta meta. Aunque el concepto no se aplica en los robots como se aplica en las personas.
Ricardo Sanz, profesor de la Universidad Politécnica de Madrid (UPM), acude a congresos de consciencia en las máquinas desde hace más de dos décadas. Recuerda su primera convención sobre consciencia artificial como una reunión variopinta: “Era en Suecia, éramos 250 personas y había más monjas que ingenieros”. Allí estaban representadas una amalgama de disciplinas, desde la metafísica a la biología pasando por la computación.
Sanz, que fundó y coordina el Laboratorio de Sistemas Autónomos de la UPM, aclara que existe una diferencia entre lo que los anglosajones llaman ‘conciousness’, que apela a la consciencia vinculada a lo metafísico, y ‘awarness’, que consiste en la autopercepción propia y del entorno, más relacionada con la realidad palpable. En castellano el lenguaje no hace esa distinción.
“Yo me dedico a las máquinas conscientes, pero me dedicó fundamentalmente a investigar cómo conseguir máquinas que se den cuenta de las cosas y entiendan lo que está pasando para ser más eficaces. Que sepan reconocer qué es importante y qué no es importante en un momento determinado”, apunta Sanz. “No estoy interesado en replicar consciencia humana ni consciencia animal. No tocamos lo que los filósofos llaman qualia, la naturaleza de las sensaciones y la experiencia”.
Nada que ver con lo que ocurre en los relatos de Isaac Asimov, como El hombre bicentenario (1976), donde un robot con nombre y apellido (Andrew Martin) anhela volverse humano, o en la afamada película Blade Runner. Aunque la cinta ha eclipsado al libro en el que se basó, la novela de Philip K. Dick tiene un título arrollador: ‘¿Sueñan los androides con ovejas eléctricas?’. Bajo esta frase antiestética y poco inteligible hay un planteamiento estimulante: los robots han alcanzado un nivel de autoconsciencia que se acerca demasiado a aspectos considerados terreno exclusivo de los humanos.
El camino hacia la inteligencia
El trabajo de Sanz y su equipo pretende dotar a las máquinas de una capacidad para manejar cualquier incidencia con soltura. Por ejemplo, si un robot se va a quedar sin batería porque está al 7% y le queda aún ir con una mercancía y volver a su puesto, debería ser capaz de preverlo y poner una solución. Esto ya se hace con sistemas específicos de tolerancia a fallos, que evitarían en este caso que el robot se quedase a medio camino.
Pero se hace de una forma artesanal, a mano. Se escribe un programa para evitar que se quede sin batería, otro por si se topa con una persona en su camino. Pero no hay un sistema unificado capaz de solucionar todos estos problemas.
“Nosotros investigamos de qué manera se pueden manejar todas estas situaciones de una forma integral. Un sistema que le permita al robot incorporar cualquier cosa que necesite comprender. Se trata de que las representaciones mentales del robot sean más adecuadas para las realidades a las que se enfrenta”, expone el profesor de la UPM.
Hay quienes van más allá. A lo largo de décadas, la consciencia en las máquinas ha sido un tema recurrente. En 1995, el profesor de la Universidad de Stanford John MacCarthy, que fuera uno de los pioneros en inteligencia artificial en los años 50, avanzó el trabajo ‘Making Robots Conscious of their Mental States’. Años después, en 2002, lo revisó y publicó con un enfoque que identificaba la consciencia de las máquinas como un conocimiento introspectivo.
Para el autor del ensayo, los robots necesitan esta capacidad para operar en el mundo real y llevar a cabo tareas propias de los humanos. Un robot, por ejemplo, debería ser capaz de inferir que no sabe algo —tener conocimiento de su ignorancia respecto a una cuestión— para tomar decisiones. Así podría buscar la información que le falta fuera o seguir su proceso de razonamiento hasta estar seguro de haber dado con una solución al problema planteado.
“La consciencia se define más o menos como sintiencia”, agrega el profesor de Filosofía y divulgador Santiago Sánchez-Migallón. “Es tener un campo fenoménico. Una máquina tendría que tener un espacio subjetivo en el cual perciba colores, perciba sonidos, tenga sensaciones táctiles, incluso tenga emociones y recuerdos”. ¿También se necesitan emociones? La respuesta es clara: “Consciencia es la capacidad captar el mundo y muchas veces captamos el mundo emocionalmente. Así que las emociones entrarían”, afirma el profesor de Filosofía.
Y es que definir bien la consciencia es clave para decidir si las máquinas la necesitan. “Si equiparamos con lo que es la consciencia humana, en mi opinión, no necesitamos consciencia en las máquinas”, señala el catedrático de la Universitat Politècnica de València (UPV) Vicent Juan Botti Navarro, que dirige el Instituto Universitario Valenciano de Investigación en Inteligencia Artificial (VRAIN). “Creo que no es necesario en ese sentido para resolver problemas, para poder automatizar procesos, tanto industriales como administrativos o de otro tipo”.
Para Botti, el término tiene un carácter filosófico inapelable. En cuanto a los debates sobre si los modelos de lenguaje de hoy en día tienen o no consciencia, su opinión es categórica: no se pueden considerar conscientes.
Más allá de las ramificaciones filosóficas, Sanz se centra en el pragmatismo: “Si hacemos robots que se mueven y que utilizan láseres de barrido para medir la distancia entre los objetos y, de repente, el láser falla, el robot tiene que darse cuenta de eso y tomar decisiones correctas. Porque si un robot se mueve con un láser que está fallando, va a chocar con las cosas”.
Hay otro escenario en el que las máquinas se benefician de un entendimiento más profundo del entorno. “Si una persona habla a un robot, este tiene que entender que esta persona le dice algo por un motivo. Tiene que entender que hay una intención detrás. Además, el robot ve los gestos y debe saber interpretarlos. Cuando la persona le ofrece un objeto, el robot debe saber que lo tiene que coger”, explica el profesor de la UPM. “Los seres humanos entendemos este tipo de cosas de forma natural. Pero en los robots hay que programar cada una de ellas muy en detalle y de forma poco flexible”.
¿Para qué queremos máquinas conscientes?
Un sistema universal, equivalente a la capacidad que desarrollamos las personas para tratar con la realidad física, permitiría que no hubiera que programar cada aspecto de una máquina, cada posible excepción. Esto permitiría robots que se muevan mejor en las fábricas, capaces de trabajar al lado de personas y moverse entre ellas.
Esta capacidad para generalizar de manera acertada sería importante en cualquier sistema que reciba información mediante sensores y tome decisiones. Sanz pone un ejemplo ilustrativo: “Un coche autónomo que va por la autopista ve un anuncio de una hamburguesería que dice ‘pare aquí’ y tiene pintada una señal de ‘Stop’ en el cartel. El autopiloto puede ver la señal de ‘Stop’ y frena en seco en la autopista. Este tipo de situaciones demuestran que las máquinas no entienden a fondo la realidad aunque la vean”.
La percepción del entorno existe hoy de forma compartimentada. “Un robot que tiene que ir desde A hasta B puede tener en su conocimiento un mapa del mundo por donde se tiene que mover. Como conoce los distintos caminos que hay, toma el camino más corto. Pero ve que hay una puerta cerrada. Es reactivo y percibe el entorno. Por tanto, busca otro camino. Replanifica con la información que tiene”, plantea Botti. Es un ejercicio parecido al que podría hacer un GPS recalculando ruta si obtiene información sobre una carretera cortada.
Esta capacidad de reacción procede, en primer lugar, de la percepción. Y se busca desde hace tiempo. “En la teoría de los agentes autónomos, en la que se trabaja desde los años 90, una de las propiedades que tiene que tener un software para llamarse agente es que sea reactivo. Esto quiere decir que tiene que percibir el entorno y actuar sobre él. Pero no lo llamamos consciencia”, asevera el catedrático de la UPV.
¿Y qué hay de la consciencia en un sentido introspectivo, similar a la humana? También hay motivaciones para intentar reproducirla. “A nivel de investigación, si se consiguiera, sería un logro increíble. Al que lo hiciera le caerían seis premios Nobel”, comenta el profesor de Filosofía Sánchez-Migallón, y añade: “Para construir una consciencia artificial deberíamos entender muy bien cómo el cerebro, nuestro tejido nervioso, genera consciencia”.
Intentar desarrollar un cerebro artificial es una forma de conocer mejor el nuestro. “Si te acuerdas de tu abuela y te pones feliz lo que ocurre en tu cerebro es que ciertas neuronas se activan y liberan neurotransmisores, como serotonina o dopamina. Esos neurotransmisores hacen que te sientas contento. Te crean la experiencia subjetiva de la felicidad. Pero ahora mismo no tenemos ni idea de cómo esas moléculas provocan esa sensación cuando piensas en tu abuela”, cuenta Sánchez-Migallón. Y recalca que los intentos de reproducir artificialmente estos procesos aumentan el conocimiento sobre nuestros propios mecanismos naturales.
En busca del factor que define la consciencia
El fenómeno de la consciencia es un misterio. Ese es el punto de partida. Y la eventual creación de una consciencia artificial solo añade complejidad al asunto. Un paper publicado en la revista Sicence en 2017, antes del boom de los LLMs, se planteaba si las máquinas serían conscientes alguna vez.
Los autores describen la consciencia como cálculos de procesamiento de información que el cerebro realiza. Lo hace de forma física y según una solución arquitectónica para resolver problemas de integración de datos. De manera que el fenómeno sería reproducible con una arquitectura de computación, según el paper.
Además, fijaban varios niveles de consciencia. El C0 sería el nivel que corresponde al grueso de la inteligencia humana, que reconoce objetos, comprende el lenguaje y realiza aprendizaje por refuerzo. El siguiente, C1, implica una relación entre el sistema cognitivo y los objetos, que permite generar una representación mental. Mientras que el último nivel, C2, consiste en la capacidad de un sistema para observar sus propios procesos que deriva en la metacognición.
Pese a todo, no está claro dónde poner el listón para afirmar que una máquina es consciente. Un debate del que también se ha nutrido la ciencia ficción. La serie Westworld narra un despertar de la consciencia en los robots, mientras en la película de Alex Garland, Ex Machina, el objetivo es desentrañar hasta qué punto es consciente la androide Ava. Estas historias entran en un terreno especulativo que por ahora no ha abandonado la ficción.
Para Sánchez-Migallón quizá nunca lo haga: “No creo que una máquina como las que tenemos hoy en día, que son solo cómputo, pueda generar consciencia. Es solo código informático, es código que puede hacer cálculos. A esa máquina habría que incorporarle algo más para que tenga consciencia”.
Aunque en ese caso surgirían otros problemas. “Si las máquinas son conscientes, ¿van a ser responsables de sus actos?, ¿van a tener responsabilidad legal? Son temas que trascienden lo técnico y también lo metafísico”, cuestiona Sanz, y desarrolla su reflexión: “Las máquinas se van acercando a ese punto en que se parecen a un adulto capaz. En algún momento las máquinas serán responsables y habrá que ver cómo se las va a penalizar, porque meter un coche autónomo en la cárcel porque ha atropellado a alguien es absurdo”.
Es imposible no pensar en escenarios planteados en el cine, como en Blade Runner o en Yo, robot (basado en relatos de Asimov). En ellas la reprobación de las máquinas es simple: se eliminan (o “se retiran”, como ocurre con los replicantes). Pero en la realidad el escarmiento se quedaría cojo.
“Si la máquina no puede sufrir, el castigo no tiene ningún sentido”, apunta Sánchez-Migallón. “El límite estaría en la capacidad de sentir dolor. Si podemos crear una máquina que sufre, ahí hay un sujeto de derechos. A esa máquina hay que darle protección legal. Tú no puedes crear algo que sufre y dejarlo al libre albedrío, para que hagan con él lo que quieran”.
De la misma forma, esa capacidad de sufrir permitiría ejercer un castigo potencial directamente contra la máquina. Sin que esto borre la responsabilidad del propio fabricante del sistema autónomo o de su dueño. “Para hacer una acción moral no hace falta ser consciente. Una máquina inteligente puede tomar acciones morales. Por ejemplo, un dron de combate puede escoger su blanco”, advierte el profesor de Filosofía.
Es un campo muy abierto donde la referencia es la comparación con los humanos. “Está claro que los modelos de IA pueden imitar ciertas capacidades humanas. Pero si planteas dilemas éticos, ¿esa IA va a resolverlos?”, se pregunta Botti, para responder de inmediato: “No tienen experiencia. Los humanos, sin embargo, acabamos dándoles vueltas y resolviéndolos”. Este es uno de los signos distintivos claros entre las personas y los robots autónomos. De momento.