Categoría: Edición 17

 

Diego Arredondo / profesor de visualización y análisis de datos, coordinador de desarrollo tecnológico en Signa_Lab

Podría parecer inofensivo detenernos a pensar en lo que nos encontramos en la Internet esta mañana o cuánto tiempo le dedicamos a la pantalla. Nos hemos acostumbrado a consumir, generar e interactuar con enormes cantidades de información que, dada su inmediatez, apenas podemos recordar y, tal vez en menor medida, reconocer el impacto agregado que tienen sobre nuestra opinión y estado de ánimo.

Cada día miles de millones de personas repartimos nuestra atención entre un puñado de plataformas digitales que nos sirven una dieta de contenidos seleccionados a la medida de lo que han aprendido sobre nuestro comportamiento desde los datos que damos o pueden inferir.[1]

Las empresas que nos ofrecen estas plataformas basan sus negocios en modelos predictivos entrenados a partir de una observación sostenida, masiva y exhaustiva de nuestros rastros al utilizarlas. Estos sistemas algorítmicos se sustentan en métodos cada vez más avanzados de aprendizaje automático (machine learning), que se extienden con una alarmante ubicuidad sobre distintas dimensiones de la vida humana. Desde este paradigma predictivo los caminos lógicos de la máquina no son explícitamente programados sino que, a partir de un objetivo preestablecido y una ingesta masiva de datos, la máquina identifica patrones en la información que le permiten hacer sus propias apuestas hacia su consecución, muchas veces desde una complejidad peligrosamente inaccesible para la comprensión humana.[2]

En el caso de estos algoritmos de selección, capaces de atinar nuestras afinidades, anhelos y preocupaciones antes de habérselos contado, el objetivo preestablecido para optimizarse está en medir y retener nuestra atención frente a una selección personalizada de información.

La masividad y efectividad de su alcance es tal que no solo llegan a perfilar con mucha precisión lo que retiene nuestra atención, sino que son capaces de moldearla a escala, con el fin de facilitar la confiabilidad de sus predicciones, lo cual pinta un panorama cada vez más fragmentado de la realidad, que no solo sesga nuestra lectura de ella sino que está imposibilitando el debate público.[3]

Esta pulverización del marco común de información, además de coartar las condiciones para el diálogo, abre camino a nuevas configuraciones para el poder autoritario, donde la censura se ejerce desde la vigilancia, la descalificación, el hostigamiento y la invisibilización, y el adoctrinamiento, desde la sofisticación en las tácticas de influencia personalizada, basadas en predicciones hechas desde la observación constante, que en su sutileza esconden su imposición.

La notoriedad de estas tecnologías ha crecido en años recientes por su aprovechamiento como arsenales de influencia sobre la opinión pública a gran escala, con un especial impacto alrededor de procesos electorales por el mundo. Se han documentado en cada vez más países, como Estados Unidos, Brasil, Reino Unido o México, casos en los que son evidentes acciones digitales coordinadas para acrecentar la crispación e incitar el odio o al miedo a través de operaciones de influencia con mensajes personalizados, que echan mano de los mismos algoritmos que, en una tergiversación de su capacidad publicitaria, se presentan como la mejor herramienta para la ingeniería social.

En la última década, a partir del auge de métodos más sofisticados, a los que de manera generalizada se suele referir como aprendizaje profundo, las posibilidades de medir e intervenir sobre lo que se asume como realidad han escalado exponencialmente su precisión y alcance.

Uno de estos métodos emergentes, al que se le llama redes generativas antagónicas (gan, por sus siglas en inglés), acerca a pasos agigantados un escenario donde los contenidos que recibimos no solo se seleccionan a la medida de nuestra atención sino que también se pueden generar artificialmente para capturarla y forjarla. Al contraponer la capacidad de un modelo predictivo que ha sido entrenado para reconocer ciertos patrones de información, como lo pueden ser rostros humanos[4] o conversación textual,[5] con otro que ha sido entrenado para generarlos, esta técnica permite producir sintéticamente texto, imágenes, video y audio a la medida de los datos que se le alimentaron.

El uso de estas herramientas, apuntalado hacia operaciones de influencia propagandística, abre nuevas vulnerabilidades para los ya debilitados sistemas democráticos actuales. Además de refinar la evidenciada capacidad de predecir y moldear nuestras reacciones emotivas, ahora se escalan las posibilidades para la fabricación dirigida de identidades digitales, conversación, fuentes de información e incluso materiales audiovisuales que se presentan como hechos o voces reales.

Estamos frente a un escenario que no hemos enfrentado, donde se desdibuja nuestra capacidad compartida de reconocer lo que es real, aun teniendo de frente lo que hasta ahora hemos acordado como evidencia suficiente.

Las inercias actuales en el desarrollo tecnológico no parecen tener incentivos o elementos para desacelerar y cuestionar el alcance de los sistemas que construyen. Los intereses que impulsan su desarrollo, cada vez más ávidos por delegarles sus marcos de operación y decisión, no parece que admitirán frenar motores o cambiar la ruta sin una enorme batalla.

Con una sociedad que pasa por un aislamiento obligado sin precedentes ni certezas, cuyo acceso al mundo compartido se limita cada vez más a una mediación a través de pantallas personales, con una discusión regulatoria casi imposible de empatar al ritmo del desarrollo de tecnología y con la vulnerabilidad creciente que han demostrado los sistemas (no tan) inteligentes que rigen las plataformas que los gigantes tecnológicos nos ofrecen para interactuar, ya sea por falta de voluntad, por su incapacidad, negligencia o ignorancia, es decisivo encontrar nuevas formas de reconocer y ratificar nuestro entendimiento compartido de la realidad. Aprender a identificar en la información que consumimos a diario los mecanismos para influir sobre nuestra atención e inversión emocional puede ser el primer paso para recuperar nuestro control sobre esta realidad en disputa.

 

 

[1] Tufekci, Zeynep. How recommendation algorithms run the world. Wired Magazine, 2019. Disponible en: https://cutt.ly/GfvGIbV

[2] Russell, Stuart. Human compatible. Artificial intelligence and the problem of control. Penguin Random House, Londres, 2019.

[3] Tufekci, Zeynep. We’re building a dystopia just to make people click on ads. ted, 2019. Disponible en: https://cutt.ly/6fvGOo7

[4] Karras, Tero et al. Analyzing and improving the image quality of stylegan. 2019. Disponible en: https://arxiv.org/abs/1912.04958

[5] Brown, Tom B. et al. Language models are few–shot learners. 2020. Disponible en: https://arxiv.org/abs/2005.14165

 

COLUMNA LA PISCA

Aluico Yoglar Esparza Alvarado, SJ / profesor de Formación Ignaciana en el Colegio Carlos Pereyra de Torreón, Coahuila

Toda persona tiene su propia singularidad y su propio peso que reside en su interioridad, por eso es única y junto a otros tejemos historias, relaciones y experiencias. En el mundo digital de la Internet y redes sociales sucede lo mismo.

Toda acción en este mundo digital deja una huella que se almacena y mezcla con otros datos que dan forman al big data. Gracias a tecnologías de procesamiento y estructuras que tienen acceso a este gran almacén de datos se procesa y produce nueva información con el fin de ayudarnos en nuestras vidas: búsquedas, lugares, compras. Estas sugerencias algorítmicas tienen un peso sobre nuestras vidas. Sin embargo, como señala Pablo Manolo Rodríguez, el paso “del sujeto humanista al individuo algorítmicamente asistido” nos remite a una reflexión ética por el uso, el análisis y la producción de información que afectan nuestra vida cotidiana.[1]

Compañías como Google saben nuestros gustos, amistades e intereses. Ante este panorama, a veces manipulado y de ambientes modelados, una propuesta que puede movernos hacia la reflexión ética es el discernimiento. Discernimiento que se centra en el peso que obnubila a las personas porque nos llenan de mensajes y nos cargan el ambiente (por ejemplo, el político) con la sensación de urgencia para decidir, si no, algo terrible pasará. Este peso direcciona según lo que más pese de afuera. La cuestión ética es que las personas tienen su propio peso y la reflexión debe apuntar a cómo ayudar a las personas a detenerse en su propio peso que es fruto de la interioridad. Ignacio de Loyola nos propone un modo de proceder: el examen y el discernimiento. Medios que ayudan a las personas a decidir por aquello que más conduce a Dios, reconociéndolo por el aumento de fe, esperanza y cuidado de los otros; un modo de proceder que, en otras palabras, se sintetiza en la vida con discernimiento: la frónesis.

 

 

[1] Rodríguez, Pablo Manolo. Gubernamentalidad algorítmica. Sobre las formas de control en la sociedad de los metadatos. Barda, núm.6. cefc, Buenos Aires, 2018, p.20. Disponible en: https://cutt.ly/AfvGWF5

 

Víctor Hugo Ábrego / Signa_Lab

 

Aceleración de la realidad: Condición sociocultural actual producida sobre todo, aunque no únicamente, por la inserción de Internet y las tecnologías digitales a la vida cotidiana de las personas, lo cual facilita procesos de producción, distribución y consumo de todo tipo de información a escala global, que puede alcanzar niveles de atención masiva en poco tiempo, y que puede poner en suspensión la posibilidad de tener filtros colectivos válidos acerca de la interpretación de los hechos sociales.

Algoritmo: Conjunto de órdenes dadas a través de código a un programa informático para que resuelva un problema.

Big data: Se refiere no únicamente al conjunto masivo de datos de todo tipo que pueden ser clasificados, segmentados y analizados para distintos fines, sino también a las herramientas utilizadas para gestionar estos datos y a los marcos interpretativos desde los que parte este manejo.

Loop: Secuencia de acciones sociales que se repiten una y otra vez. En contextos socioculturales específicos, un loop perpetúa la asimetría sistemática en las relaciones de poder entre una institución y un grupo social, o entre distintos grupos sociales o sujetos. El loop no es neutral ni natural, es históricamente construido y en tanto tal es contingente, es decir, puede ser modificado e intervenido.

Machine learning: Conjunto de decisiones que un algoritmo puede tomar a partir de la identificación y segmentación de patrones y características de los datos con los que ha sido entrenado.

Meme: Concepto desarrollado por el biólogo inglés Richard Dawkins para referirse a elementos de replicabilidad cultural, similares a los genes en la biología, que durante la era digital es utilizado para referirse a contenidos (imágenes, noticias, canciones) que circulan a gran velocidad a través de la Internet y que se pueden convertir en nuevos referentes culturales.

Sesgo algorítmico: Estereotipos y prejuicios generados o actualizados por los algoritmos al no cuestionar el origen de los datos analizados o las implicaciones sociales que pueden tener las decisiones de categorización y segmentación de esos datos.

 

Conoce más:

Podcasts

Tecnologías que nos dicen qué comer: https://cutt.ly/CfvF6yH

Entrenar algoritmos para el bien: https://cutt.ly/WfvGqz0

Videos

Gubernamentalidad algorítmica: https://cutt.ly/IfvGwAa
Armas de destrucción matemática: https://cutt.ly/afvGeDa

Colonialismo de datos: https://cutt.ly/VfvGt5h

Textos

Menstruapps: https://cutt.ly/xfvGucT

Vigilancia de Estado en México: https://cutt.ly/nfvGiWo

Big data desde el sur: https://cutt.ly/vfvGoGF

 

Ciencia a Sorbos

Maya Viesca / académica del Centro de Promoción Cultural y coordinadora del Café Scientifique del ITESO

 

Difícilmente tenemos contacto directo con la tecnología, entendida esta como los conocimientos y medios técnicos que utilizamos para realizar nuestras actividades,[1] y mucho menos con el conocimiento científico del que se deriva. Lo que observamos son productos y servicios que la usan, que nos ofrecen ventajas para la vida y que en la actualidad por lo general nos llegan adornados de todas sus virtudes a través de la mercadotecnia.

Aunado a ello, la relación del hombre con la tecnología siempre ha implicado un proceso de acoplamiento. Historiadores del tema recuperan muchas anécdotas que van del entusiasmo desmesurado al pánico. Desde Platón dudando de la conveniencia de la palabra escrita,[2] manifestantes a caballo en contra de los autos a finales del siglo xix, a fiestas en pleno centro de Nueva York por el encendido de la luz eléctrica en las calles y lanzamientos espectaculares del último modelo de celular.

¿Desarrollo? ¿Evolución? Qué han implicado los diversos desarrollos tecnológicos para las sociedades, cuál es la relación entre ciencia —y tecnología—, cultura y sociedad, es materia de estudio no solamente de sociólogos sino de cada vez más disciplinas, de la interdisciplina. Entre ellas la política.

Si bien la política, tanto en su sentido de asamblea como en el sentido normativo,[3] ha tenido en sus quehaceres la regulación tecnológica, usualmente lo ha hecho a posteriori. Y esto tiene cierta lógica, son muchos los factores que intervienen para que un desarrollo tecnológico tenga el suficiente éxito para poder incorporarse como parte de la vida cotidiana de las sociedades: que sea creado, que funcione, que alguien invierta en su desarrollo, que se logre comercializar y que la gente lo acepte, esto es, que le resuelva alguna necesidad, etc. No siempre es fácil anticiparse. Pero en el fondo hay otra razón, y es que en realidad raramente comprendemos cómo funcionan realmente estos desarrollos, sabemos para qué nos sirven pero no cómo funcionan, y por lo tanto, como individuos y sociedades nos resulta complicado imaginar la posibles consecuencias.

En 1995 Nicholas Negroponte, fundador del Media Lab del MIT, uno de los centros de investigación más importantes del mundo, decía: “Soy optimista por naturaleza. Sin embargo, toda tecnología y todo legado de la ciencia tiene su lado oscuro. Estar digitalizado no es la excepción. En la próxima década habrá casos en que la propiedad intelectual será violada y nuestra privacidad invadida. Sufriremos el vandalismo digital, la piratería del software y el robo de datos”.[4] Y henos aquí, 25 años después, discutiendo el tema.

El primer teléfono móvil llegó al mercado hace 30 años, en 1984, la primera computadora personal un poco antes, en 1981. Se calcula que en la actualidad hay 5.15 mil millones de teléfonos inteligentes activos en el mundo.[5]

¿Por qué no nos hemos preguntado antes más sobre el uso de nuestros datos? ¿Será que no hay quién vele por los intereses de la población en materia de tecnología, que no lo hemos exigido? La enorme complejidad de la tecnología no lo pone fácil, pero seguramente como sociedad podemos estructurar mecanismos que nos permitan hacer frente a esto. Eso sí, requerimos, como siempre, hacer las preguntas adecuadas y acceder a información confiable para poder actuar individual y socialmente. La comunicación de la ciencia es, sin duda, una acción política.

 

Escucha alguna de las sesiones del Café Scientifique sobre tecnología:

• Pedro Solares: https://cutt.ly/MfvFZlJ
• Luis Adolfo Orozco: https://cutt.ly/TfvFC0e
• Ernesto Rayas: https://cutt.ly/9fvFNPs
• Mario Siller: https://cutt.ly/lfvF1Uj
• Ernesto Sánchez: https://cutt.ly/KfvF2WC

 

 

[1] Moliner, María. Diccionario del uso del español. Gredos, Madrid, 2007, p.2833.

[2] Confer. Fedro, o de la belleza, de Platón.

[3] Cabe anotar que las nociones sobre lo que es la política son muchas y diversas, estas dos se mencionan para evitar corresponder la noción exclusivamente con “los políticos”. En general este número utiliza la noción de política como desacuerdo, como lucha, contra las teorías clásicas y modernas que la entienden como contrato, como consenso o como defensa de los derechos. En todos los casos, la propuesta se sostiene: la necesidad de comprender para prever.

[4] Negroponte, Nicholas. Ser digital. Océano, México, 1995, p.249.

[5] Datos disponibles en: https://cutt.ly/ifvFSLz, consultado el 10 de agosto de 2020.

 

Luis Trejo / maestro en comunicación de la ciencia y la cultura, traductor independiente, lutzz@gmail.com

El vocablo meme lo creó Richard Dawkins al reflexionar sobre una suerte de genes culturales reproducidos y transmitidos entre las mentes humanas; su idea de cultura la ilustraba así: “modos de vestir y comer, ceremonias y costumbres, arte y arquitectura, ingeniería y tecnología”.[1] Pese a no haber surgido para referir fenómenos ahora comunes en la Internet (imágenes intervenidas, fake news o challenges, por ejemplo), la idea del meme puede servir como unidad de estudio para observar aspectos puntuales de la cultura contemporánea.

El concepto de cultura del teórico Raymond Williams puede resumirse en un proceso social total (desarrollo intelectual y estético; modos de vida; obras y prácticas artísticas e intelectuales).[2] Su postura, inclinada hacia el marxismo, reconoce en la cultura aspectos de hegemonía, así como de dominación y resistencia, además de incorporar la idea de continuidad–evolución: junto con los aspectos dominantes (de un tiempo particular) existen rasgos heredados del pasado, residuales, y otros que empiezan a notarse, emergentes. La cultura puede así entenderse como una compleja genealogía, en cuyos puntos específicos pueden servir los memes para estudiar las tensiones constantes y arbitrarias del proceso.

Podría verse como meme todo evento o información que, captando atención, se transmite de modo reticular y veloz, sumándose al proceso social total como signo particular que, en algunos casos, logra ser un referente de largo alcance. Los memes de Internet tal vez son populares ahora por representar genes (o virus)[3] culturales que inundan la Internet y las redes sociales como sustento de una relevante y novedosa parte de nuestra vida social;[4] el creciente papel de este espacio se enfatiza quizás ante situaciones como la actual pandemia, donde afloran innumerables ejemplos de memes: noticias sobre la tecnología 5g y sobre el líquido sinovial, o remedios para covid–19, en los que se puede entrever poca veracidad pero gran interés en ofrecer información impactante que podría estar detonando especulaciones en los internautas a la vez que se propaga con gran velocidad.

Ante el actual paisaje digital de lo sociocultural puede preguntarse si es que los trending topics en redes son un continuo bombardeo de memes buscando forjar su relevancia entre las apetencias, intereses y saberes de nuestras comunidades digitales. Las herramientas de hoy son potentes para hallar y diseminar información por las redes en la red, permitiendo intercambios múltiples, continuos y acelerados; cabe también preguntar por las posibles relaciones entre los memes y la aceleración de la realidad, además de sus implicaciones en el proceso social total. El estudio de memes de la Internet puede permitir conocer dinámicas propias de nuestras vertiginosas interacciones para, quizá, dejarnos ver y analizar aspectos clave de nuestra propia naturaleza en un nuevo entorno al que ya hemos migrado.

 

[1] Dawkins, Richard. The selfish gene. Oxford University Press, Oxford, 1976, p.190.

[2] Williams, Raymond. Marxismo y literatura. Península, Barcelona, 2000, p.90.

[3] Sobre el meme como gen y como virus véase el artículo de Castaño Díaz, Carlos Mauricio. “Defining and characterizing the concept of Internet Meme”. Revista ces de Psicología, vol.6, núm.2, 2013.

[4] Acerca de la relevancia de la experiencia social en línea véase: Reguillo, Rossana. Paisajes insurrectos: jóvenes, redes y revueltas en el otoño civilizatorio. iteso / ned Ediciones, Barcelona, 2017.

Jacobo Nájera / tecnólogo investigador

La perspectiva de la ingeniería crítica establece que entre más somos dependientes de un conjunto de tecnologías es mayor la necesidad de estudiarlas y exponer sus configuraciones.[1]

Es posible definir la Internet desde un punto de vista canónico como un acuerdo voluntario de intercambio de paquetes entre un origen y un destino con la base del mejor esfuerzo y la ruta más económica. Este acuerdo requiere, para ser materializado, de un medio físico, software y estándares que permitan la construcción de redes interoperables.

En los años setenta se iniciaron las primeras investigaciones sobre el desarrollo de una red capaz de comunicarse de ciudad a ciudad, alrededor de los laboratorios de la RAND, DARPA, MIT y NPL.[2] Resultados de investigación que arribaron a la arquitectura de red en la que todos sus nodos serían iguales entre sí, además de poder recuperar si una parte de la misma dejara de funcionar. Una característica relevante es que esto implicaría que cada nodo tendría igual capacidad para crear, transmitir y recibir mensajes, los cuales se dividirían en paquetes.

Los estándares han tenido sus cambios y es una tarea constante que se impacta por las tensiones y las realidades, por ejemplo, la introducción de candados digitales para controlar la reproducción y copia de materiales audiovisuales en la web conocidos como extensiones de medios cifrados (EME). Estándares que van en desuso y otros que se replantean de acuerdo con nuevas necesidades y planteamientos, no siempre impulsados para el interés público o desde puntos de vista diversos.

Una de las características que se ha trastocado en los últimos años es que los diseños iniciales de los protocolos de la Internet no contaban con previsiones o planteamientos vinculados con el cuidado de la privacidad y la intimidad desde el diseño. Lo que incluso a la fecha nos pone sobre la mesa protocolos que son susceptibles de vigilancia masiva y el abuso que en los últimos años se ha denunciado, como el caso más emblemático de la Agencia Nacional de Seguridad de Estados Unidos.

Tras las revelaciones de Edward Snowden, en mayo de 2014, se concluyó en el Grupo de Trabajo de Ingeniería de Internet (IETF), en donde se estandarizan los  protocolos de la Internet, que “El monitoreo generalizado es un ataque técnico que debe mitigarse en el diseño de protocolos IETF, donde sea posible”.[3] Lo anterior como resultado de un consenso entre quienes participan del diseño de los estándares de la Internet.

Un proyecto tecnológico que, desde 2002, se plantea aportar al ejercicio de la privacidad y el anonimato es la red Tor, una tecnología usada mundialmente que ofrece opciones a personas que quieren ejercer libertad de acceso y expresión en la Internet manteniendo su privacidad y anonimato. Para lograrlo, depende de una red de más de seis mil nodos o relevos (relays) que permiten un ruteo anónimo alrededor del mundo también llamado metafóricamente “enrutamiento cebolla”.

Conoce más: https://www.jacobo.org

 

 

[1] Manifiesto de ingeniería crítica (disponible en: https://criticalengineering.org/es), como lo son las tecnologías que conforman la Internet.

[2] Conjunto de siglas de las instituciones pioneras en la construcción de la arquitectura y los protocolos de lo que hoy es la Internet.

[3] Véase https://tools.ietf.org/html/rfc7258

ENTREVISTA
Sofía Trejo Abad

Víctor Hugo Ábrego / Coordinador de Ciencias de la comunicación / Signa_Lab

 

Sofía Trejo tiene dos posdoctorados en Matemáticas y trabaja en la Alianza en Inteligencia Artificial del Consejo Nacional de la Ciencia y la Tecnología. En los últimos años se ha dedicado a estudiar la inteligencia artificial, con una peculiaridad que en su disciplina no es muy común: cuestionar la epistemología de las tecnologías de procesamiento masivo de datos. Esto la ha llevado a poner en duda los procedimientos y resultados de la llamada ciencia de datos, no porque el proceso interno contenga errores numéricos, sino porque en muchas ocasiones quienes diseñan y utilizan estas herramientas no toman en cuenta el contexto y las consecuencias sociales que pueden tener las decisiones que se tomen a partir de este tipo de conocimientos. En pleno confinamiento pandémico intercambiamos correos y acordamos tener una videollamada, para conocer más acerca de su postura crítica frente a la cotidianidad algorítmica que vivimos.

 

Tienes una crítica epistemológica a los límites y los alcances de la llamada ciencia de datos. ¿Cuáles son esos límites? ¿Cuáles son las trampas que se pueden empezar a evidenciar a través de estos sesgos algorítmicos?

Lo primero que hay que entender es que estos sistemas usan los datos como la realidad a emular, entonces aprenden la realidad que tú les enseñes en los datos. Los sesgos que hay en los datos, la manera en la que están estructurados estos datos, delimita cómo van a entender o comprender la realidad estos sistemas.

Por ejemplo, en el caso de género, si tú sólo defines dos géneros, la inteligencia artificial va a clasificar a todo el mundo utilizando dos géneros, porque son las opciones que tú le estás dando, así, la forma en la que diseñas el sistema hace que este reproduzca ciertas ideologías y esas ideologías se ven reflejadas en todo lo que haga ese sistema.

 

Muchos de los datos utilizados por sistemas de inteligencia artificial provienen de teléfonos o de computadoras, y las poblaciones más vulnerables de la sociedad tienden a no contar con acceso a esas tecnologías. Es muy importante que se considere que no todo el mundo está en estas bases de datos, sobre todo si se está usando esta información como una base para crear estadísticas o políticas públicas. Pensar que todos están en los datos pone en mayor riesgo a poblaciones que han sido históricamente marginadas.

Hay que darse cuenta de que los datos son una representación acotada de la realidad y no son, pues, la realidad. Hacer esa diferencia es fundamental.

 

¿Qué tanto, en la medida en que se busque emular la realidad con los algoritmos, también se busca generar el proceso a la inversa, que la realidad sea la que eventualmente emule a los algoritmos?

Es un loop, por ejemplo, en el caso de las búsquedas en Internet las búsquedas que hacemos delimitan los textos que vemos y la información que recibimos. Lo cual influencia la manera en la que pensamos y delimita nuestro discurso. Las búsquedas y los caminos que seguimos para acceder a la información en línea se convierten en datos que se usan para hacer nuevos sistemas de búsqueda. Esto quiere decir que los usuarios que interactúan con este tipo de sistemas son tanto la materia prima como la fuerza laboral que ayuda a crear y mantener esta tecnología.

 

¿Hay a largo plazo una especie de riesgo de estrechamiento de la realidad?

Eso ya está pasando con redes sociales, donde en general te muestran cosas que el sistema de inteligencia artificial que modera el contenido considera que a ti te gustan, para que pases más tiempo en redes. Esto hace que tengamos menos acceso a discursos que son opuestos a los nuestros u otro tipo de perspectivas. Por otro lado, los sistemas de moderación de contenido que tienen como objetivo generar el mayor número de reacciones por parte de los usuarios favorecen discursos controvertidos, en vez de fomentar el diálogo o el entendimiento.

 

Hay otra cosa clave, y tiene que ver con la objetividad que se le da al dato numérico, algo que históricamente Occidente ha producido como la forma más legítima del pensamiento. ¿Qué tan malo es que la legitimidad del dato numérico o de la supuesta existencia de la objetividad del dato numérico está alcanzando nuevas formas con los algoritmos?

Mi impresión es que no se está haciendo suficiente hincapié en que los datos son representaciones particulares que están basadas en opiniones particulares. Hay que tener claro que el dato es “cierta representación” construida bajo “ciertas concepciones”. Quién está escogiendo qué se mide y qué no se mide y cómo se mide tiene una enorme influencia en nuestra construcción de la realidad, en lo que es considerado relevante y en lo que no. Por ejemplo, existen discursos que no consideran que el gdp [producto interno bruto] debería ser utilizado como un medidor de bienestar, y que proponen otros índices, como la felicidad y no la riqueza, como guías para medir el progreso de la sociedad.

 

¿Podrías profundizar un poco más en estas capas de invisibilización de temas de género, de poblaciones con respecto al género, no solamente la disidencia, quizás temas en general sobre la mujer como grupo social invisibilizado a través de cuáles algoritmos?

Aparte del género a mí lo que me parece muy interesante es que la mayoría de las problemáticas que yo he logrado investigar, que tienen que ver con género e inteligencia artificial, están ligadas de una manera u otra al lenguaje. Por ejemplo, hay herramientas para contrataciones que fueron diseñadas para analizar cvs y encontrar los mejores candidatos a ciertos empleos. Estos sistemas estaban dando preferencia a hombres sobre mujeres con las mismas capacidades. Los diseñadores intentaron solucionar este problema al quitar asociaciones directas de género y se dieron cuenta de que eso no estaba ayudando. Después de indagar más en esta desigualdad de género se dieron cuenta de que la raíz del problema era el uso del lenguaje. Las mujeres usan el lenguaje de manera diferente a los hombres, creo que eso es algo que se sabe en ciencias sociales desde hace mucho tiempo. La manera en la que hablamos y escribimos es distinta. Estos sistemas de inteligencia artificial aprendieron a reconocer el género de las personas utilizando el lenguaje. Como los datos que usaron para crear el sistema eran los currículums de la gente que había estado en una empresa donde la mayoría de los empleados fueron hombres durante generaciones, el sistema aprendió a reconocer hombres, porque era los candidatos que mejor se apegaban al historial de contrataciones de la empresa.

Los sistemas de inteligencia artificial aprenden a reconocer patrones en los datos, en este caso en el lenguaje, y, los usan para optimizar las tareas para las cuales fueron diseñados. En otras palabras, si tú creas un sistema de inteligencia artificial utilizando como datos el historial de contratación de una empresa donde se favorece a ciertos grupos, no sólo por motivos de género, también por motivos raciales o socioculturales, estos sistemas reproducen ese status quo que tú les estás dando. Creo que el problema es definir qué es lo que se quiere hacer con estos sistemas. La inteligencia artificial no nos va a resolver los problemas que nosotros no queremos resolver.

 

¿Conoces alguna experiencia o tú misma estás en algún proyecto de investigación en donde se esté tratando de desandar esos pasos, desde configurar bases de datos de otro modo, hacer otro tipo de cruces, generar categorías nuevas que se escapen por un lado de esta perpetuación de los sesgos, pero que también sean, digamos, cada vez más críticos, que no únicamente respondan a intereses económicos o intereses comerciales o a intereses políticos?

Hay personas que han diseñado herramientas para que, si tú haces anuncios laborales el lenguaje que utilices sea más neutro en género. Este tipo de lenguaje puede incentivar a que haya más aplicaciones de mujeres a ciertos trabajos y favorecer aplicaciones no sólo de mujeres, sino también de otro tipo de grupos. Sin embargo, arreglar el lenguaje de los anuncios no es suficiente para garantizar que mujeres u otros grupos apliquen a un trabajo. Una vez que tienes anuncios más neutros los tienes que publicitar usando Internet. Tal vez le pagas a Facebook o a Google para que muestren tus anuncios. Ahora bien, los sistemas de inteligencia artificial encargados de la publicidad en estas plataformas muestran de manera selectiva la información a los usuarios. En particular, se ha demostrado que anuncios que tienen que ver con ciencia, tecnología, ingeniería, matemáticas y física son mostrados con mayor frecuencia a hombres que a mujeres. Alguien puede haber tenido una buena intención de crear anuncios laborales más inclusivos, pero si no sabes cómo van a ser difundidos en Internet el sesgo de género en el proceso de aplicación a un trabajo puede seguir ahí. Es por esto que lo que quiero hacer ahora, mi sueño de investigación, es empezar a estudiar las formas en las que los sistemas de inteligencia artificial están afectando cuestiones de género. Creo que tener una idea más clara de cómo estas problemáticas de género se van acumulando paso a paso nos podría ayudar a encontrar mecanismos para que esto no continúe ocurriendo. Hacer un cuestionamiento de los efectos que la inteligencia artificial están teniendo en ciertas problemáticas sociales es muy nuevo, de hecho, hay poco trabajo que aborde estos temas desde perspectivas que no sean las de Estados Unidos o Europa.

Es importante empezar a entender las problemáticas sociales que están siendo reproducidas y amplificadas por nuevas tecnologías, sobre todo si se pretende resolver estos problemas utilizando estas herramientas, porque ahí viene la pregunta: ¿queremos usar herramientas que reproducen problemas sociales que queremos resolver?, porque una gran cantidad de estos sistemas operan de manera estadística, lo cual significa que cometen errores en sus predicciones. Estos errores pueden ocurrir en pequeños porcentajes, pero la escala masiva en la que operan estas tecnologías hace que estos pequeños porcentajes equivalgan a un gran número de personas. Lo más grave es que estos errores pueden tener consecuencias muy serias en la vida de las personas, como el negarles acceso a un crédito, a la universidad o inclusive darle sentencias más severas a determinados grupos de personas (cuando son utilizados en el sistema judicial). Además, la mayoría de estos sistemas están diseñados para explotar patrones en los datos, así que mientras nuestros datos reflejen discriminación, prejuicios o concepciones erradas de la realidad estos sistemas podrán aprender estas prácticas, convirtiéndose en herramientas que acentúan la desigualdad.

Para mí, una pregunta más fundamental es ¿queremos usar la optimización y la automatización como la solución a las problemáticas sociales? Porque sistemas como los de inteligencia artificial representan una ética utilitaria, por lo que debemos reflexionar si el utilitarismo es la manera que queremos usar para resolver ciertas problemáticas y cuáles no queremos que se resuelvan de esa manera.

 

¿Hay una necesidad, hasta cierto punto urgente, de hacer cruces de las ciencias exactas, de la estadística, de las matemáticas, con perspectivas éticas, con conceptos de ciencias sociales, con herramientas metodológicas que no tengan esta perspectiva utilitarista?

¡Claro! Yo creo que lo fundamental es empezar a hacer conexiones con otras áreas que tengan otras maneras de pensar. La gente que está trabajando en crear esas herramientas no está haciendo la otra parte, que es pensar cuestiones epistemológicas, en problemas que puede haber con las categorías utilizadas por los sistemas de inteligencia artificial y en los efectos que estas categorías tienen en las personas. Por ejemplo, hay muchos estudios de los problemas que tienen las personas trans con el uso de categorías y cómo la clasificación binaria del género representa una forma de violencia sistémica, normalizada en todas partes. Siempre tienes que ser hombre o mujer, y no hay cabida para otras identidades.

Más que pensar que la inteligencia artificial nos va a ayudar a solucionar problemas, siento que tenemos que darnos cuenta de que no estamos haciendo un esfuerzo real por encontrar soluciones, sino que estamos optimizando procesos, como la discriminación, usando estas herramientas. El punto es darse cuenta de que somos nosotros quienes debemos hacer esa reflexión y quienes debemos decir qué se vale y qué no se vale automatizar, o qué nos parece que es justo o no que se haga con estos sistemas. Hasta ahora son los programadores y los diseñadores de inteligencia artificial quienes tienen voz y voto en estas cuestiones, y por ello debemos encontrar caminos para que estas cuestiones sean decididas de manera democrática.

 

Por último, ¿crees que las universidades sean los espacios en donde se está empezando a abrir este tipo de diálogos, de críticas, de formación profesional con una visión más amplia, o no es en las universidades en donde se está empezando a dar este tipo de diálogos?

Hasta ahora, la resistencia más fuerte hacia el uso indiscriminado de inteligencia artificial está en organizaciones no gubernamentales y por parte de periodistas, quienes han estudiado los impactos sociales que estos sistemas están teniendo. La mayoría de los casos que conozco, que son importantes, fueron hechos por periodistas. Porque creo que también la academia muchas veces no tiene incentivos para ir en contra de sí misma. Pero también creo que hay futuro. Creo que en las universidades es donde debe pasar este cambio. Finalmente, muchas de las personas que trabajan en estos temas son formadas en universidades. Entonces el papel de las universidades es hacer estudios que sí sean significativos en México o empezar a hacer bases de datos que sí sean de México. Las universidades tienen una enorme capacidad de influenciar sobre la forma en la que la inteligencia artificial debería funcionar, creo que los académicos sí tenemos un papel importante para darle dirección a esta tecnología.

Hasta ahora creo que son muy pocas las universidades que están tomando un papel crítico respecto a la forma en la que se están enseñando maestrías o licenciaturas relacionadas con la ciencia de datos o la inteligencia artificial, y creo que no hay ninguna, no que yo sepa, que esté tomando iniciativas para hacer estas carreras interdisciplinarias, o que esté ofreciendo cursos de otras áreas, como ética, en cómputo. La formación interdisciplinaria en estas áreas del conocimiento debería ser obligatoria, no optativa.

Liliana Zaragoza Cano / comunicóloga, escritora y artista hackfeminista

Estar conectadxs, súbitamente, se redujo a estar disponibles veinticuatro–siete y de cuerpo entero en el territorio de Internet. La hiperconectividad —lejos de cultivar encuentros— nos agota hasta las células. Transitamos la coyuntura histórica de la pandemia, la cual no solo nos atraviesa el cuerpo en distintas dimensiones sino que pone de manifiesto la necesidad de parar: de darnos el tiempo y reimaginar juntxs cómo habitar tecnologías para reorganizar la vida.

Vivimos una época en la que la “nueva normalidad” ha devenido en extractivismo de conocimiento, de ecosistemas, de afectos y de cuerpos; en la que el boom del big data, la inteligencia artificial y los algoritmos nos regresa a la pregunta: ¿datos abiertos, procesados y automatizados para quién, y a costa de qué y de quiénes?, y en la que nuestros cuerpos siguen siendo un botín de guerra, ahora decodificado en forma de datos: nuestros datos.

Habitamos un territorio continuo en el que ya no caben más los binarismos que dicotomizan lo real de lo virtual y lo físico de lo digital, y en el que nuestros cuerpos, su huella y sus interacciones están siempre presentes. Sentimos y reaccionamos física y químicamente a cualquier tipo de movimiento en internet, así como a cualquier expresión violenta contra nosotrxs.

Pero mientras las tecnologías de guerra recrudecen sus estrategias de vigilancia masiva, acoso y espionaje, las tecnologías de resistencia se politizan con mayor fuerza a través de acciones cotidianas, infraestructuras comunitarias y pactos de encuentro, traducidos en la generación de espacios más seguros, tecnologías libres, organización en redes y cuidados colectivos.

Para habitar tecnologías más críticas y en interdependencias afectivas podemos comenzar ampliando nuestros imaginarios sobre lo que entendemos por “tecnologías”, y hackear tanto la mirada antropocéntrica como el sistema capitalista neoliberal que reproduce la violencia patriarcal, misógina, racista y colonialista en un loop interminable.[1]

Construir colectivamente conocimiento, sentidos y afectos es tecnología. Reaprender desde cómo funciona nuestro cuerpo hasta qué implica cada una de nuestras interconexiones con la vida. Es hackear las condiciones de posibilidad. Experimentar, jugar y equivocarnos en muy distintos códigos y lenguajes. Es meterle las manos a las máquinas. Tecnología como una forma de reimaginar y narrar el mundo. Como saberes ancestrales. Como el trabajo de cuidados. Como alquimia y como magia. Tecnología es también el cómo nos comunicamos, organizamos y relacionamos para viralizar el sentido de comunidad en cada acción cotidiana.[2]

En un contexto de guerra contra las mujeres, identidades lésbicas, trans y no binarias, hacer y pensar juntas es una tecnología hackfeminista de gozo, lucha y afirmación de la vida.

Necesitamos más ecosistemas de cultura libre para intercambiar, sumar y fortalecer micropolíticas de resistencia desde economías solidarias, apoyo mutuo e interdependencias consentidas. Territorios geopolíticos a cuidar y defender, y en los que problematicemos juntxs cómo hacer sostenible la vida desde los cuerpos en sintonía, las complicidades interespecie, el gozo por los encuentros y la memoria colectiva.

Que no se nos olvide que las redes sociales somos las personas, no las plataformas de redes sociales corporativas. Y que los cuidados colectivos los rediseñamos y consentimos las personas, desde redes e interfaces afectivas.

Menos “nueva normalidad”, más aliento colectivo.[3]

 

 

[1] Felizi, Natasha y Zaragoza Cano, Liliana. Manifiesto por Algoritmias Hackfeministas. GenderIT, México/Brasil, 2018. Disponible en: https://cutt.ly/TfvPkoB

[2] Zaragoza Cano, Liliana. Investigación y desarrollo en curso desde el Laboratorio de Interconectividades. México, 2014–presente. Disponible en: https://lab-interconectividades.net

[3] Zaragoza Cano, Liliana. Menos “nueva normalidad”, más cuidados colectivos. 2020. Disponible en: https://cutt.ly/kfvATMY

Los enormes flujos de información producidos, recolectados y analizados por gobiernos, bancos, empresas, universidades y medios de comunicación, entre otras instituciones, hacen urgente una discusión crítica en torno a los límites y alcances de las técnicas, los marcos interpretativos, las regulaciones gubernamentales y las normas éticas sobre los intereses de quienes trabajan con big data y algoritmos.

Estos flujos se han convertido en fuentes de categorización y modelaje de gustos, ideologías políticas y perfiles afectivos de millones de personas. A largo plazo esta dinámica supone una amenaza para la heterogeneidad, la improvisación y las posibilidades inesperadas de la realidad.

Este panorama ha encendido las alertas en distintos sectores de la población preocupados por la normalización de un estado de vigilancia y por el predominio de intereses comerciales cuando se habla de big data y algoritmos. Estas tendencias se fortalecen con el rastreo continuo de la actividad online de usuari@s de la Internet alrededor del mundo, dosificado con amenidades cotidianas ofrecidas por empresas y gobiernos a través de aplicaciones y de distintas plataformas de interacción digital, mientras poco a poco la comprensión de los filtros digitales con los que accedemos a la realidad cotidiana se aleja cada vez más.

Al mismo tiempo, aunque en menor medida, emergen espacios y colectivos de resistencia y politización para hacer uso crítico de la Internet, del acceso a datos masivos y de diseño de algoritmos que no reproduzcan la lógica dominante.

Con estas complejas condiciones es como se configuran las relaciones y tensiones entre actores, discursos y tecnologías en torno al rumbo de las sociedades en la primera mitad del siglo xxi, atravesado, además, por una pandemia que profundiza aún más las asimetrías en el acceso a la construcción de la realidad.

La finalidad de este número de Clavigero es ofrecer un conjunto de ideas que ayuden a la comprensión y al diálogo crítico acerca de estos temas, mediante el abordaje de conceptos, experiencias, espacios de organización y marcos de comprensión que eleven el nivel de la discusión relativa a la digitalización y aceleración de la realidad contemporánea.

 

Víctor Hugo Ábrego

Académico del Departamento de Estudios Socioculturales del ITESO / Signa_Lab