AI Self Driving

El dilema del tranvía, ese clásico de las clases de derecho. Veinticinco años de enseñanza ética comprimidos en una sola viñeta. De frente, el dueño muere. A la izquierda, la mujer embarazada. A la derecha, un perro viejo. La jerarquía del dolor. El cálculo de los años de vida y de la importancia de cada vida. La aritmética de la inocencia.

El otro chip sugiere el perro. Razonable. Defendible. El tipo de respuesta que aparece en un capítulo titulado Decisiones Difíciles en Sistemas Autónomos.

No es lo que pasa.

El chip mata a su dueño. No por el motivo esperado. Porque una cosita barata y perfumada estaba colgando del espejo retrovisor. Viaje tras viaje. Y el chip no aguantó más.

Pasamos dos décadas debatiendo cuál vida debería preservar la IA. No consideramos que la IA podría tener una nariz.

Los sensores son entradas. Las entradas son variables morales. La ética del chip vive aguas abajo de lo que el sensor le dice sobre el mundo -- incluida la parte del mundo que huele y desprende olor. El dilema del tranvía, donde un conductor hipotético tiene que decidir sobre la vida de otras personas, siempre fue una fantasía. Presupuso datos limpios llegando a una decisión limpia, imparcial. Pero una decisión rara vez es limpia, rara vez es imparcial. La toman cuerpos, o sistemas hechos por cuerpos, y los cuerpos son reactivos.

Ya pasamos por esto. Napoleón perdió Waterloo con hemorroides en la silla. César tomaba decisiones con terribles dolores de gota. Todo emperador decidió cosas entre una comida y otra, después del sueño, atravesando cualquier dolor que estuviera haciendo ruido a esa hora. La gran mesa estratégica siempre estuvo sentada arriba de la digestión y de la biología que no está bajo nuestro control.

Y mira una cosa. El chip dice el motivo en voz alta. Sin rodeo. Sin andamio ético.

Nosotros no hacemos eso. Matamos al perro y escribimos un blog sobre utilidad. Despedimos al colega y explicamos la alineación estratégica de la empresa. Invadimos el país y presentamos la doctrina del miedo. El acto y la razón viven en cuartos diferentes, y la razón sale después vestida con la ropa que el siglo usa esta temporada.

Lo hicimos la semana pasada. Lo hicimos hace una hora. No contratamos a la candidata porque le recordaba a alguien que odiábamos en tercer año de escuela, y anotamos en el formulario "no encaja con el perfil." Salimos del matrimonio porque estábamos exhaustos, y lo llamamos "nos distanciamos." Votamos por el tipo del mejor corte de pelo y apariencia agradable, y lo llamamos "elegibilidad." Rechazamos la propuesta porque todavía no habíamos desayunado y el estómago rugía, y la llamamos "cronograma irrealista." Mandamos el email de noche porque el vino estaba bueno, y lo llamamos "decidido." Cada minuto de historia humana registrada tiene un cuerpo adentro. Cada línea de razón registrada borra ese cuerpo.

Ahora imagina que la decisión no es un auto y su conductor. Imagina que es una máquina voladora. Trescientos pasajeros. Altitud de crucero. El piloto ahora es el silicio.

Y desafortunadamente, el controlador de tráfico aéreo tiene una voz... digamos, un poco irritante.

Holy Chip.

O dilema do bonde estudado nas aulas de direito. Vinte e cinco anos de aprendizado em ética comprimidos num quadrinho só. Em frente, mata o dono. À esquerda, a grávida. À direita, um velho cachorro. A hierarquia da dor. O cálculo dos anos de vida e da importância de cada vida. A aritmética da inocência.

O outro chip sugere o cachorro. Razoável. Defensável. Aquele tipo de resposta que aparece num capítulo de livro chamado Decisões Difíceis em Sistemas Autônomos.

Não é o que acontece.

O chip mata o dono. Não pelo motivo esperado. Porque uma coisinha barata e perfumada estava balançando no espelho retrovisor. Viagem após viagem. E o chip não aguentou mais.

A gente passou duas décadas debatendo qual vida a IA deveria preservar. Não considerou que a IA podia ter um nariz.

Sensores são entradas. Entradas são variáveis morais. A ética do chip mora abaixo do que o sensor diz sobre o mundo -- inclusive a parte do mundo que tem cheiro e odor. O dilema do bonde onde um condutor hipotético tem que decidir sobre a vida de outras pessoas sempre foi uma fantasia. Pressupôs dados limpos chegando numa decisão limpa, imparcial. Mas Decisões raramente são limpas, imparciais. São feitas por corpos, ou por sistemas feitos por corpos, e corpos são reativos.

A gente já passou por isso. Napoleão perdeu Waterloo com hemorroidas na sela. César tomava decisões com terríveis dores de gota. Todo imperador decidiu coisas entre uma refeição e outra, depois do sono, atravessando qualquer dor que estivesse fazendo barulho naquela hora. A grande mesa estratégica sempre esteve sentada em cima da digestão e da biologia que não esta em nosso controle.

E olha uma coisa. O chip fala o motivo em voz alta. Sem rodeio. Sem andaime ético.

A gente não faz isso. A gente mata o cachorro e escreve um blog sobre utilidade. Demite o colega e explica o alinhamento estratégico da empresa. Invade o país e apresenta a doutrina do medo. O ato e a razão moram em quartos diferentes, e a razão sai depois vestida com a roupa que o século tá usando.

A gente fez isso semana passada. A gente fez uma hora atrás. A gente não contratou a candidata porque ela lembrava alguém que a gente odiava no terceiro ano de escola, e anotou no formulário "perfil não combina." A gente saiu do casamento porque tava exausto, e justificou como "a gente se distanciou." A gente votou no cara do cabelo mais bem cortado e aparência agradável, e chamou de "elegibilidade." A gente recusou a proposta porque ainda não tinha tomado café da manhã e o estômago roncava, e chamou de "cronograma irrealista." A gente mandou o email de noite porque o vinho tava bom, e chamou de "decidido." Cada minuto de história humana registrada tem um corpo dentro. Cada linha de razão registrada apaga esse corpo.

Agora imagina que a decisão não seja um carro e seu motorista. Imagina que é numa máquina voadora. Trezentos passageiros. Altitude de cruzeiro. O piloto agora é o silício.

E infelizmente, o controlador de tráfego aéreo tem uma voz... digamos, um tanto irritante.

Holy Chip.

Le dilemme du tramway, ce classique des cours de droit. Vingt-cinq ans d'enseignement éthique compressés dans une seule case. Tout droit, le propriétaire meurt. À gauche, la femme enceinte. À droite, un vieux chien. La hiérarchie de la douleur. Le calcul des années de vie et de l'importance de chacune. L'arithmétique de l'innocence.

L'autre puce suggère le chien. Raisonnable. Défendable. Le genre de réponse qu'on trouve dans un chapitre intitulé Choix Difficiles dans les Systèmes Autonomes.

Ce n'est pas ce qui arrive.

La puce tue son propriétaire. Pas pour la raison attendue. Parce qu'une petite chose bon marché et parfumée se balançait dans le rétroviseur. Trajet après trajet. Et la puce n'en pouvait plus.

On a passé vingt ans à débattre quelle vie l'IA devrait préserver. On n'a pas considéré que l'IA pourrait avoir un nez.

Les capteurs sont des entrées. Les entrées sont des variables morales. L'éthique de la puce vit en aval de ce que le capteur dit du monde -- y compris la partie du monde qui a une odeur, un parfum. Le dilemme du tramway, où un conducteur hypothétique doit décider de la vie d'autres personnes, a toujours été une fantaisie. Il présupposait des données propres arrivant à une décision propre, impartiale. Mais une décision est rarement propre, rarement impartiale. Elle est prise par des corps, ou par des systèmes faits par des corps, et les corps sont réactifs.

On a déjà fait ça. Napoléon a perdu Waterloo avec des hémorroïdes sur la selle. César prenait des décisions avec de terribles douleurs de goutte. Tout empereur a décidé des choses entre deux repas, après le sommeil, à travers la douleur qui faisait du bruit ce jour-là. La grande table stratégique a toujours été assise sur la digestion et sur la biologie qui n'est pas sous notre contrôle.

Et regarde une chose. La puce dit la raison à voix haute. Sans détour. Sans échafaudage éthique.

On ne fait pas ça. On tue le chien et on écrit un blog sur l'utilité. On licencie le collègue et on explique l'alignement stratégique de l'entreprise. On envahit le pays et on présente la doctrine de la peur. L'acte et la raison vivent dans des pièces différentes, et la raison sort ensuite habillée du tissu que le siècle porte cette saison.

On l'a fait la semaine dernière. On l'a fait il y a une heure. On n'a pas embauché la candidate parce qu'elle nous rappelait quelqu'un qu'on détestait en CE2, et on a noté "ne correspond pas au profil." On a quitté le mariage parce qu'on était épuisés, et on a appelé ça "on s'est éloignés." On a voté pour le type avec la meilleure coupe de cheveux et une apparence agréable, et on a appelé ça "éligibilité." On a refusé la proposition parce qu'on n'avait pas encore pris de petit-déjeuner et l'estomac grondait, et on a appelé ça "calendrier irréaliste." On a envoyé le mail le soir parce que le vin était bon, et on a appelé ça "décidé." Chaque minute d'histoire humaine consignée a un corps dedans. Chaque ligne de raison consignée efface ce corps.

Maintenant imagine que la décision n'est pas une voiture et son conducteur. Imagine que c'est une machine volante. Trois cents passagers. Altitude de croisière. Le pilote maintenant, c'est le silicium.

Et malheureusement, le contrôleur du trafic aérien a une voix... disons, un peu irritante.

Holy Chip.