058 ¿Quién se responsabiliza de los bugs? ¿Y de la IA?

Muy buenas, soy Titanio Verde y estás

escuchando Panda Disk System cultura en peligro de extinción.

Hoy lo siento mucho pero vengo a quejarme otra vez del negocio de la IA.

Ni de los precios de los componentes, ni del daño al medio ambiente, ni cosas así.

Ni siquiera de cómo están destruyendo libros de segunda mano

para escanearlos rápidamente con tal de tener más datos con los que alimentar a sus modelos.

Sobre eso he hablado a mucha gente, tocaría aquí también, pero es que no tengo más que cubrir realmente.

En lo que me quiero centrar es en el concepto de responsabilidad.

No en el sentido que he mencionado en episodios anteriores del responsable de preservación.

Quién se encarga de que unos datos, unos archivos, las fotos de esta familia,

estos documentos, estos informes financieros, etc. sigan vivos, sigan accesibles, sigan íntegros.

Sino el responsable que hay detrás de un software.

La persona que garantiza o tiene que dar la cara cuando produce problemas, produce accidentes, produce resultados erróneos.

No solo eso, sino cuando sucede una de esas situaciones debe darle remedio.

Garantizar en la medida de lo posible de que ese error no vuelva a suceder.

Vamos a ir por escala.

En el menor orden puede ser cualquier software pequeño o cualquier proyecto de cualquier tamaño

llevado por un solo programador, uno autónomo que él se lo guisa, él se lo come, trabaja por su cuenta,

vende proyectos y los gestiona él solito.

Ahí está claro clarísimo que el responsable de todo es ese programador.

Él se tiene que encargar de que funcione, de que cumpla los requisitos que le pide el cliente o los que se ha impuesto él mismo

y que los resultados sean correctos.

Y siempre que falla alguna cosa, este mismo programador tiene que encargarse de arreglarlo.

En el siguiente nivel lo lleva pues una empresa consultora, un pequeño negocio de varias personas.

Béase cuatro personas, diez, cincuenta, no importa.

El caso es que ahí la responsabilidad ya no es solamente del programador, sino que se reparte.

El funcionamiento normal de una consultora de software o incluso de cualquier cárnica,

como la llamamos nosotros, las que venden código por horas,

como mínimo hay un comercial que da la cara y que es el que trata con el cliente, redacta los requisitos,

se pone de acuerdo en cuánto está dispuesto a pagar, qué tamaño quiere, qué escala, etc.

Luego todo eso se lo pasa al programador y que se apañe para llevarlo a cabo.

Ahí normalmente es el comercial quien luego recibe las quejas por qué algo no funciona o por qué,

incluso, de hecho es bastante normal, el cliente lo pidió de una manera y realmente no lo quería así.

Y venga, hay que cambiarlo.

Y eso recae también en el programador, pero quién pone la cara es el comercial.

Normalmente. A mí anda que no me ha tocado veces llamar a los clientes directamente,

especialmente después de explicarles cosas por correo,

para luego explicarles exactamente lo mismo palabra por palabra por teléfono.

Luego ya pasamos a grandes compañías, bien grandes consultoras que venden proyectos grandes,

bien productos internos dentro de compañías, o sea que los desarrollan exclusivamente para sí mismos.

Ahí la responsabilidad se puede diluir muchísimo.

Puede haber, aparte del programador o los programadores, dos programadores, cuatro, diez, veinte o más.

Bueno, de hecho pueden haber diferentes programadores.

Los puede haber de backend, o sea de servidor. Los puede haber de frontend, de la interfaz.

Puede haber testers o quality assurance que se, que garanticen que lo que se ha escrito,

lo que se ha programado cumple con lo exigido y que funciona bien y que no rompe nada más.

Puede haber DevOps que se encarguen de montar los sistemas de los servidores y de distribuirlos.

Y si hace falta varios servidores, pues también que se levanten según haga falta.

Luego el jefe de proyecto, el jefe de equipo, el arquitecto o diseñador de sistemas.

Muchos cargos, además de quien trata los negocios directamente con la empresa cliente.

Ahí claro, cuando hay algún problema es difícil señalar a un culpable, a un responsable.

Es culpa de que Operaciones no ha puesto el sistema que se le había pedido o no ha instalado lo que se le había exigido.

Es culpa del programador que ha roto cualquier línea de código mientras programaba otra.

Es culpa del arquitecto por haber elegido una librería que en realidad no sirve para esto.

O que Quality Assurance no lo haya probado debidamente. O puede ser muchas cosas a la vez.

Yo sin ir más lejos tuve un accidente bastante preocupante en mi trabajo de desarrollador de software.

Que el origen era un fallo bastante tonto, de hecho, que se podía haber evitado con que yo u otros varios compañeros

nos hubiéramos fijado en lo que se estaba lanzando a producción y que se lanzó muy deprisa y bueno, provocó pérdidas.

Pequeñas, no ha sido el típico error de novato de borrar toda la base de datos de producción, pero ha sido algo parecido.

Y claro, a ver, quien ha escrito ese código fui yo, pero la responsabilidad no ha sido totalmente mía.

Y de hecho, a mí no me dejaban arreglarlo porque eso estaba fuera de mi alcance.

Eso estaba en terreno de operaciones, del líder de proyecto y de varias otras personas.

Yo como mucho di los detalles del problema, señalé dónde estaba exactamente y los demás hacía su trabajo, como buenamente podían.

Si yo hubiera sido un programador autónomo, quien ha cometido ese fallo, quien tiene que responder a ese fallo

y además tiene que reparar los datos perdidos, tendría que ser yo directamente.

Y no solo hablamos de cualquier bug de código, cualquier botón que esté descolocado en la interfaz.

Estamos hablando también de datos erróneos en informes.

Estamos hablando de usuarios que acceden a funciones que no deberían tener acceso.

Muchas cosas así.

Muchas cosas así.

Durante muchos años se ha esperado que el software sea determinista y cumpla las funciones que se le exigen,

que reciba una entrada y devuelva una salida normalmente predecible.

Y con esto lo que buscan las empresas por lo general es solucionar problemas o ahorrárselos.

Normalmente es porque tienen algo que les dificulta el trabajo o la organización

o que necesitan tener información accesible de manera directa o que necesitan informes.

Al final todo acaba en informes, porque ya sabemos que a los directores les gustan mucho los informes.

Y ya si tienen gráficas, ¡vamos!

Y admito que es la parte que más odio, programar informes.

Porque es muy delicado y es donde hay más responsabilidad.

Dentro de mi ramo, entiéndase.

Pero eso.

Siempre se esperaba, como más o menos explicaba en mi episodio sobre versiones de software,

o sea de cómo cuando el software se vendía en físico eran versiones cerradas y probadas,

y que se supone que no iban a tener fallos,

se espera una garantía, se espera un resultado.

Se espera que cumpla una función y que te ayude en el trabajo, no que te dificulte.

Aunque ya sabemos que en bastantes casos no es así, que el resultado no es tan bueno como se desea.

A veces es por falta de tiempo, por falta de conocimiento, por requisitos poco definidos,

porque no se ha contemplado casos específicos, muchas cosas.

No hablemos ya de videojuegos, especialmente desde que hay 3D, físicas, mundos abiertos,

muchos componentes a la vez que interactúan entre ellos y puedan producirse fallos entre ellos.

Es imposible controlar todo eso.

El problema que tienen las grandes compañías, como acabo de comentar,

es que la responsabilidad se diluye fácilmente.

Para mí, como programador, en ese caso, pues genial, no toda la culpa recae sobre mí.

Pero cuando es la propia empresa la que causa problemas, la que causa infracciones,

la que causa robos o manipulaciones, lo que hace Anthropy, OpenAI, Google, Meta, todos los días,

pues todo eso se diluye, porque no tienes a una sola persona a la que señalar ni una ni dos ni tal.

Puede ser el departamento de marketing, el departamento de diseño, el departamento de contabilidad.

Normalmente responde el jefe de cada departamento, pero ese jefe puede cambiar de la noche a la mañana.

Y el jefe no te va a decir cómo ha funcionado exactamente ese departamento.

Y además puede haber actuado por orden de otro departamento,

que además puede ser un departamento de otra oficina, ubicada en otro país.

Puede ser que se movieran por las leyes de otro país incluso.

Y son cosas como esta con las que se escudan a la hora de recibir sanciones.

Las multas las tiene que pagar el culpable de un problema.

Tú cometes un accidente de tráfico, tú tienes que pagar la multa.

Meta roba datos personales, pues, bueno, puede ser el departamento de contabilidad o puede ser, no sé, algún encargado habrá.

Lo que se consigue con eso, o lo que se trata de conseguir, es que no se llegue a culpar a nadie.

No se llegue a sancionar a nadie.

Da igual quién haya dado la orden, el ticket de la multa se pierde por el camino.

Es lo mismo que sucede en España cuando tratas de pedir ayudas al gobierno o a algún ayuntamiento

que te mandan a una oficina, luego a otra, luego a otra.

Necesitas cuatro formularios de esto, dos certificados del otro.

El objetivo de esa burocracia para datos que en su mayoría ya tienen de antemano es que la gente se canse,

se abrume ante ese monstruo burocrático como pasaba en aquella película de Asterix.

Que se rinda y así pues el gobierno no tiene que pagar nada, no tiene que entregar ayudas.

Las grandes empresas son expertas en deshumanizar las culpas, en escurrir el bulto.

Y para eso, ¿qué mejor herramienta que la inteligencia artificial generativa?

Un amalgama de tokens entrelazados de mil maneras, basados en material de entrenamiento sacado de millones de sitios

que producen resultados en absoluto deterministas, por no decir aleatorios.

Fingiendo inteligencia y fingiendo que sabe de lo que habla.

Es lo contrario a la filosofía del software corporativo en general.

Y sin embargo, bastantes empresas manejan con eso datos importantes, datos de vital importancia.

Y luego el resultado pues... no ofrece ninguna garantía.

Como mucho ofrece algo de garantías, algo de utilidad al generar código de software, precisamente.

Pero igualmente lo tenemos que andar vigilando de mil maneras. No nos vaya a colar una añapa.

Desde poco después de salir, se han empeñado en tratarla como un ente, como un dios incluso,

como algo con voluntad propia que toma decisiones por su cuenta.

¿Y por qué les interesa tanto que humanicemos a los modelos de IA generativa?

Pues precisamente para que sea esa IA la que lleve a cabo las acciones que la empresa le interesa llevar a cabo,

pero sin que sea culpa de la empresa.

Esto ya se ha utilizado.

Para atención al cliente.

Ya te habrás encontrado con varios servicios de atención al cliente de empresas de todo tipo,

que es un maldito chatbot al cual le preguntas cosas y se inventa las respuestas

o directamente no te lleva ninguna parte, o te dice no tenemos solución, ¿quieres alguna otra cosa?

Con un humano puedes negociar, puedes pedirle cosas, incluso puedes llorarle para que te haga caso,

pero un chatbot no puedes.

Te llevará por el camino de la amargura, te rendirás y dejarás de pedirle nada a esa empresa.

Y eso es lo que quieren.

Luego están los seguros de salud que gestionan las pólizas con chatbots también.

Que les cuentas tu caso y ellos deciden si te tiene que llegar el dinero de la póliza o no.

Y ya os podéis imaginar cuál va a ser la mejor respuesta para la compañía de seguros.

No les interesa pagar a ningún cliente, lo que les interesa es que los clientes paguen.

Si se mueren de cáncer, pues a ellos se las sopla, lo que les interesa es recibir dinero.

Y si tienen accionistas, pues que estos estén contentos de ver cuánto crecimiento hay.

Y si un ejército quiere mandar misiles para bombardear a otro país,

pues qué mejor que cederle el control a un chatbot, que él decida si hay que disparar o no.

Muere gente. ¿Y qué más da? No he sido yo, ha sido la máquina.

La máquina ha tomado esa decisión.

Es más o menos lo mismo que cuando se luchaban guerras, el nombre de un dios o de un ideal.

Es lo mismo, es básicamente descargar la culpa en otro ente.

Porque admiten que lo que están haciendo es inhumano.

Pero claro, si señalas a alguien que ha hecho algo inhumano, pues se le puede denunciar.

A un ente, a un software, a un ordenador, pues no, no le puedes multar.

Esto de echarle la culpa a los ordenadores es algo que llevamos haciendo desde hace mucho tiempo.

¿Cuántas veces no has podido comprar algo en una tienda o les ha costado,

o no te han podido atender a cualquier solicitud porque el sistema está caído,

el ordenador no funciona, o han perdido algún pedido tuyo porque ha habido un error en el ordenador,

que en algunos casos será simplemente error del propio usuario.

El ordenador como chivo expiatorio ha sido excelente y lo va a seguir siendo,

y eso es en gran parte el negocio de Anthropic y compañía.

Ahora van y dicen que vamos a reducir la marcha de nuestros avances,

porque es que nuestros modelos son peligrosos para la humanidad y no tenemos todo el control,

o sea, se nos va de las manos, vamos a parar un poco porque nos importa la humanidad.

Y a ver si no nos siguen pagando los inversores mientras, por favor, que nos estamos quedando sin dinero.

Se están quedando sin dinero, se están quedando sin datos nuevos,

se están quedando sin ordenadores con los que procesarlo todo,

los centros de datos que quieren construir no dan abasto o no se llegan a construir o no tienen energía,

o los pueblos, sobre todo en Estados Unidos, no los quieren ni de lejos

porque les roban el agua y la electricidad.

Y de por sí el software de los modelos no puede avanzar.

No consiguen que avance o al menos no ha tenido ningún avance sustancial en tres años.

Lo que han podido es darle más potencia, darle pensamiento,

que es básicamente procesar lo mismo varias veces seguidas,

tratándose de explicárselo a sí mismo,

tener a varios agentes funcionando para que cada uno se reparta el contexto,

ya que el límite de contexto para cada conversación sigue siendo ridículamente corto

Y bueno, sí, sí, sí hemos conseguido una cosa, que es producir mejores vídeos,

mejores vídeos de basura, sí, pero al menos ya no son tan ridículos como hace dos años.

Algo es algo, aunque sea a costa de megavatios y megavatios de potencia.

A las compañías de IA generativa les conviene todo esto,

les conviene tener un ente todopoderoso que sea el culpable de todos los crímenes que ellos mismos han cometido.

Todas sus infracciones de propiedad intelectual, todo su comercio de datos personales,

sus influencias políticas, básicamente tienen a Don Trompas en su mano.

Todos sus fraudes, destrucción de medio ambiente, acaparamiento de recursos, agua y electricidad.

Pero la culpable es la máquina. La máquina necesita más.

La máquina tiene que seguir evolucionando, porque la humanidad lo necesita.

Y si tú te niegas a usar la máquina, te vas a quedar atrás.

De hecho, mira, te digo mejor, si no estás al día con los modelos y no lo utilizas en tu trabajo,

la culpa de que no avance más es tuya, porque no nos estás proporcionando más datos para entrenarla,

para que te entienda mejor, para que te conozca mejor.

Y cuando toda la burbuja estalle, pues se va a llevar a un montón de gente por delante,

van a dejar el mercado del hardware hecho añicos,

seguiremos necesitando un tiempo para que se estabilice todo y podamos volver a comprar

ordenadores y al menos discos duros para guardar nuestras copias de seguridad

y no darán una maldita disculpa.

Se irán de rositas, ellos lo han intentado, por el bien del capitalismo, de Estados Unidos,

de la tecnología, de lo que quieras, y no pasaran ni un solo día en la cárcel,

porque la culpa de todo la ha tenido la máquina.

Aquí no hay un solo responsable humano.

Y creo que nada más. Ya he echado bastante bilis.

El siguiente episodio sí tratará sobre preservación y de hecho será bastante técnico,

pero sigo metiéndome con este tema, me sigue preocupando porque, entre otras cosas,

nos quita poder, nos quita posibilidades para que nuestros datos sean nuestros

y que podamos protegerlos por nuestra cuenta y no tener que depender de la nube para todo.

Hasta pronto.