
La IA generativa es un campo de la inteligencia artificial que está creciendo rápidamente y que tiene como objetivo crear nuevo contenido, como por ejemplo imágenes, texto o música. Esta tecnología tiene el potencial de revolucionar la forma en que creamos y consumimos contenido, y ya se está utilizando en diferentes sectores, como el arte, el entretenimiento y el marketing.

En este post exploraremos las diferentes formas en que la IA generativa se utiliza para crear nuevo contenido en diferentes dominios. Pondremos especial atención a las dos modalidades más populares de IA generativa: IA para escribir texto, e IA para generar imágenes. También explicaremos, de manera breve pero técnica, los principales sistemas de IA generativa en estas modalidades, como son ChatGPT y Stable Diffusion.

Muchos usuarios han empezado a interactuar con modelos de IA generativa a través de aplicaciones web, pero es posible que no entiendan completamente qué son estos modelos y cómo funcionan. Este post pretende abordar esta brecha y ayudarle a aprender más sobre el campo de la IA generativa y las principales técnicas que se utilizan.

# ¿Qué es la IA generativa?

Antes de empezar a hablar de IA generativa, deberíamos intentar comprender el concepto de IA primero. A muchos investigadores no les suele gustar el término IA, ya que a menudo se utiliza para exagerar las capacidades del machine learning. De hecho, la mayoría de la IA que vemos hoy en día es en realidad machine learning. Entonces, ¿qué es el machine learning? El machine learning es simplemente una forma de enseñar a los PCs a generar salidas utilizando muestras de datos. Estas muestras suelen ser texto, imágenes o audio, y las salidas suelen ser una etiqueta, un valor numérico, u otra imagen, texto o audio. Una vez entrenados, estos algoritmos pueden analizar nuevas muestras, nunca antes vistas, con una precisión impresionante.

La IA generativa es un subconjunto del machine learning que tiene como objetivo generar nuevo contenido, como audio, imágenes o texto. Los modelos de IA generativa utilizan arquitecturas especializadas, por ejemplo transformers, redes generativas adversarias o redes encoder-decoder, que pueden aprender con datos de entrenamiento y producir creaciones realistas y novedosas que reflejan las características de los datos sin replicarlos por completo.

La IA generativa trae consigo un gran potencial para la creación de contenido, ya que puede agilizar el proceso creativo, especialmente en las etapas de ideación de borradores. Ya sea una publicación para redes sociales, una imagen para un blog, o música de fondo, la IA generativa puede ayudarte a crear borradores rápidos y de alta calidad que te facilitarán el trabajo.


# IA generativa que escribe texto

Las aplicaciones con IA para escribir texto como GhatGPT han ganado gran popularidad recientemente. Sin embargo, antes de ellas, los clasificadores de texto habían sido la familia dominante de IA para procesamiento de texto. Los clasificadores de texto asignan una categoría a un texto, por ejemplo "reseña positiva" o "reseña negativa". Estos modelos son realmente útiles, ya que pueden agilizar tareas como el servicio de atención al cliente, donde el modelo puede categorizar automáticamente las quejas en función del equipo que debe abordarlas.

Sin embargo, en los últimos años ha aparecido una nueva tendencia, mientras que los modelos anteriores sólo podían clasificar el texto, la IA generativa que escribe y es capaz capaz de seguir instrucciones simples se ha vuelto más popular. Estos modelos capaces de seguir instrucciones son fundamentalmente autosupervisados, lo que significa que no dependen de datos etiquetados por humanos, sino que crean sus propias etiquetas a partir de los datos. Esto reduce la necesidad de etiquetar manualmente los datos de entrenamiento, lo que facilita el uso de conjuntos de datos cada vez más grandes. De esta forma, pueden aprender con grandes cantidades de datos de texto no etiquetados, como páginas web, libros, noticias y más.

Al procesar grandes cantidades de datos, los métodos autosupervisados pueden acumular conocimiento y ayudarnos a completar tareas cotidianas como responder preguntas. Sin embargo, aunque los algoritmos autosupervisados son capaces de acumular una gran cantidad de conocimiento, se suele necesitar refinarlos para alcanzar el nivel de interactividad de aplicaciones como ChatGPT, Bing Chat o Bard.

<figure className='mt-8 mb-4'>
  <Image src="/assets/posts/what-is-generative-AI-and-how-do-AI-writers-and-image-generators-work/bing-chat.png" alt='Puedes usar ChatGPT gratis con Bing Chat' width='896' height='0' className="w-full h-auto" />
  <figcaption className='text-gray-800 mt-1 text-sm'>Puedes usar ChatGPT gratis con Bing Chat.</figcaption>
</figure>

## ChatGPT

ChatGPT es un chatbot capaz interaccionar con una capacidad casi humana. OpenAI lo lanzó a finales de 2022 y se hizo increíblemente popular de la noche a la mañana. La principal razón del éxito de ChatGPT fue su capacidad para generar respuestas coherentes a peticiones escritas con lenguaje natural; tan solo solo escribes tu instrucción y ChatGPT te proporcionará una respuesta. Además, puedes usar ChatGPT de forma gratuita con Bing Chat.

ChatGPT funciona con un transformer, un tipo de modelo de aprendizaje automático que ha ido ganando popularidad desde 2017. Los transformers son muy buenos en tareas de procesamiento de lenguaje natural, como la elaboración de resúmenes, la traducción automática o la respuesta a preguntas. Estas redes utilizan un mecanismo llamado atención, que les permite aprender cómo están relacionadas las diferentes palabras de una secuencia. Esto los hace adecuados para tareas de NLP en las que el significado de una frase depende del contexto de las palabras que la rodean.

Sin embargo, la capacidad de modelado de lenguaje de los transformers no es suficiente por sí misma para entrenar un chatbot de uso general. Modelos como ChatGPT suelen entrenarse utilizando un enfoque con varios pasos. Específicamente, este chatbot primero se entrena con el objetivo de continuar frases de forma auto-supervisada, luego se entrena con pares de instrucciones-respuestas redactados de forma manual, y finalmente se refina utilizando aprendizaje por refuerzo.

Siguiendo este enfoque, el primer paso es construir un modelo de lenguaje capaz de completar frases. Esto se logra entrenando el transformer de forma semi-supervisada, alimentando al modelo con un corpus grande de libros, blogs y otra información que se encuentra en Internet. El resultado de la fase esta fase de preentrenamiento es un modelo de lenguaje grande (LLM), a menudo conocido como un modelo preentrenado.

Ahora mismo, este modelo preentrenado es muy bueno completando frases, pero no es tan bueno siguiendo instrucciones. Cuando se le pide "Escribe un poema", podría responder "dijo el poeta", esto se debe a que las narraciones son más frecuentes en Internet que las secuencias de instrucciones-respuestas. Para superar esta limitación, el LLM preentrenado se refina con un conjunto de pares de instrucciones-respuestas construidos de forma manual. En este paso, también conocido como “behavior cloning”, la representación interna de conocimiento del LLM se modifica ligeramente, consiguiendo así que sea más probable que responda a las instrucciones en lugar de simplemente completar frases.

Finalmente, una vez que el LLM ha sido refinado utilizando pares de instrucciones y respuestas creados manualmente, este se suele someter a un último paso de refinado. En este último paso, el modelo se mejora utilizando el aprendizaje por refuerzo, un tipo de entrenamiento que permite a los modelos aprender dejando que generen respuestas completas, y evaluándolas con un modelo de recompensa. Este modelo de recompensa es en sí mismo otro modelo de machine learning, entrenado para clasificar diferentes respuestas a un prompt y, al utilizar este modelo de recompensa, el generador de texto puede mejorar su rendimiento un poco más. Un prompt puede tener varias respuestas buenas, pero algunas de ellas pueden ser mejores que otras, y este paso prioriza precisamente eso: seleccionar la mejor respuesta entre las posibles. También es cierto que diferentes personas pueden tener diferentes opiniones sobre cómo clasificar las respuestas, esta puede ser la razón por la que ChatGPT, muestra un botón de me gusta/no me gusta junto a cada respuesta; de esta manera, la aplicación puede recopilar datos sobre las preferencias de sus usuarios.

<figure className='mt-8 mb-4'>
  <Image src="/assets/posts/what-is-generative-AI-and-how-do-AI-writers-and-image-generators-work/chatgpt-diagram.png" alt='Pasos para conseguir que un modelo de texto siga instrucciones' width='896' height='0' className="w-full h-auto" />
  <figcaption className='text-gray-800 mt-1 text-sm'>Pasos para conseguir que un modelo de texto siga instrucciones.</figcaption>
</figure>

# IA generativa que crea imágenes

La IA generativa de texto a imagen es una clase especial de IA que puede producir imágenes a partir de descripciones escritas con lenguaje natural. Aunque estos modelos no han recibido tanta atención como ChatGPT, en los últimos años han aparecido numerosas aplicaciones online que permiten generar imágenes, y ahora existen numerosas opciones interesantes que pueden generar imágenes impresionantes.

En realidad, la IA que genera imágenes ha existido durante bastante tiempo. Sin embargo, como en el caso de los modelos de IA para el procesamiento de lenguaje, estos modelos más antiguos no eran tan poderosos como los que tenemos ahora. Dos buenos ejemplos de IA más antigua para la generación de imágenes son las GANs y el neural style transfer.

Las GAN, o redes generativas adversariales, que se presentaron en 2014 en el artículo "Generative Adversarial Networks", funcionan poniendo dos redes neuronales a competir entre sí. Una red, la generadora, intenta crear nuevas imágenes que no se distingan de las imágenes reales. La otra red, el discriminador, intenta distinguir entre imágenes reales e imágenes falsas creadas por el generador. Estas dos redes se entrenan juntas hasta que se alcanza un empate, es decir, que el generador puede engañar al discriminador la mitad de las veces. De este modo, podemos entrenar un generador de imágenes que, al menos, pueda engañar a los clasificadores de imágenes de la IA, aunque los resultados a veces disten mucho de ser perfectos.

Otro ejemplo de IA más antigua para generar imágenes es la técnica llamada neural style transfer. Introducida en 2016, esta técnica puede crear nuevas imágenes que imitan un estilo específico, preservando el contenido de las fotos que elijamos. Por ejemplo, si tenemos una foto de una ciudad y un cuadro de Van Gogh, podemos usar Neural Style Transfer para crear una nueva imagen que tenga los mismos edificios y calles que la foto, pero con las pinceladas y colores del estilo de Van Gogh. Esta técnica consiste en alimentar una red preentrenada con el estilo y la imagen de referencia, e ir modificando la imagen de referencia para que las activaciones neuronales del estilo se acerquen más a las de la imagen del estilo.

Sin embargo, ninguna de estas técnicas puede igualar la complejidad de los generadores de imágenes modernos como Midjnourney o, como alternativa gratuita, Stable Diffusion. Estos nuevos modelos se entrenan con conjuntos masivos de pares texto-imagen, lo que les permite crear imágenes mucho más realistas y detalladas.

<figure className='mt-8 mb-4'>
  <Image src="/assets/posts/what-is-generative-AI-and-how-do-AI-writers-and-image-generators-work/generated-cat.png" alt='Imagen de un gato generada con Stable Diffusion' width='896' height='0' className="w-full h-auto" />
  <figcaption className='text-gray-800 mt-1 text-sm'>Imagen de un gato generada con Stable Diffusion.</figcaption>
</figure>


## Stable Diffusion
Una de las herramientas más populares de IA generativa para generar imágenes es Stable Diffusion. Stable Diffusion es un modelo que se puede usar fácilmente con aplicaciones como Web UI, y permite a los usuarios generar imágenes con instrucciones de texto. Por ejemplo, puedes escribir  "Un gato sentado en una valla" y la interfaz web de Stable Diffusion mostrará una imagen de un gato sentado en una valla generada por el modelo de IA.

Stable Diffusion, al contrario que ChatGPT, es un modelo open source, lo que nos permite conocer a fondo sus funcionamiento. Este modelo de IA se basa en una técnica llamada latent diffusion, que consiste en añadir y eliminar ruido a imágenes de forma controlada. El modelo aprende a crear imágenes realistas invirtiendo el proceso de adición de ruido, partiendo de ruido aleatorio y eliminándolo gradualmente hasta llegar a la imagen deseada.

Este proceso de difusión inversa, que elimina iterativamente el ruido de una imagen aleatoria, se lleva a cabo utilizando una arquitectura U-Net. U-Net es un tipo de red convolucional que se diseñó originalmente para segmentar imágenes biomédicas, pero que también es capaz de generar imágenes RGB. Esta red suele entrenarse de forma supervisada, con pares imagen-imagen que, en este caso, serán la imagen ruidosa y el ruido que queremos eliminar en el paso actual de difusión inversa. Al entrenar el modelo, la U-Net aprende a predecir el ruido que estamos añadiendo en cada paso de difusión; luego, durante la inferencia, las predicciones de ruido generadas por la U-Net pueden utilizarse para invertir el proceso de difusión, sustrayendo el ruido de la imagen y recuperando así una imagen nítida a partir de ruido aleatorio.

Sin embargo, utilizar directamente la U-Net para procesar imágenes se volvería rápidamente prohibitivo para imágenes de tamaño moderado a grande. Si nos fijamos en el artículo original de U-Net, los autores utilizaron imágenes de 512x512 píxeles para los requisitos de memoria, pero ese tipo de imágenes ya sería prohibitivamente caro para Stable Diffusion, que tiene capas adicionales alrededor de U-Net. En lugar de trabajar directamente con los píxeles de la imagen, Stable Diffusion trabaja en un espacio latente, una representación comprimida que almacena la información de la imagen procesada en una menor cantidad de "píxeles". Para ello se utiliza un variational autoencoder, un tipo de red encoder-decoder que se entrena para producir la misma imagen con la que se alimenta. Una vez entrenada, podemos introducir una imagen al modelo y utilizar las activaciones internas de la red como representación comprimida de la imagen. Si nos limitamos a guardar el bloque de características que se encuentra entre el encoder y el decoder, podemos realizar la difusión inversa sobre él y ahorrar una enorme cantidad de recursos computacionales.

Incluso con todo este procesamiento, el modelo aún no es capaz de seguir indicaciones de texto, todavía tenemos que condicionar el proceso de difusión inversa. Para conseguirlo, se añaden capas de cross-attention a las secciones de codificación y decodificación de la U-Net. Estas capas de cross-attention funcionan de forma similar al mecanismo de self-attention utilizado por ChatGPT, pero tienen en cuenta tanto la información textual del prompt como la información visual del diffuser. De este modo, las activaciones de cada capa de la arquitectura U-Net original se proyectan utilizando el prompt textual.

<figure className='mt-8 mb-4'>
  <Image src="/assets/posts/what-is-generative-AI-and-how-do-AI-writers-and-image-generators-work/stable-diffusion-diagram.png" alt='Diagrama de Stable diffusion' width='896' height='0' className="w-full h-auto" />
  <figcaption className='text-gray-800 mt-1 text-sm'>Diagrama de Stable diffusion.</figcaption>
</figure>

Si juntamos estos tres componentes: la U-Net, el variational autoencoder y las capas de cross-attention, obtenemos un modelo que puede generar imágenes de alta calidad siguiendo prompts.

# Conclusión

La IA generativa es una tecnología disruptiva que promete revolucionar la creación de contenidos. Este tipo de IA puede producir contenidos sorprendentes y originales en diferentes ámbitos, como imágenes, texto o música, y la gente ya está aprovechando sus capacidades a través de aplicaciones como ChatGPT o Stable Diffusion Web UI. En este artículo hemos introducido el concepto de IA generativa y explorado las principales aplicaciones que la gente está utilizando para sacar partido de esta tecnología: Stable Diffusion, para generar imágenes, y ChatGPT, para escribir texto.

A medida que esta tecnología mejora, podemos esperar aplicaciones aún más sorprendentes y creativas en los próximos años. Por lo de ahora, la foto de portada de este post se creó con Stable Diffusion. Además, estos modelos están ayudando a trabajos creativos como los de marketing a escribir titulares, eslóganes o descripciones pegadizas.

Esperamos que esta entrada del blog te haya ofrecido una visión general de las diferentes formas en que se está utilizando la IA generativa, y cómo funcionan los modelos que permiten escribir texto y crear imágenes. Si estás interesado en saber más sobre los modelos de IA generativa y cómo pueden ayudarle en sus proyectos, no dudes en ponerte en contacto con nosotros a través de la página de contacto o el botón de chat.


La IA generativa es un campo de la inteligencia artificial que está creciendo rápidamente y que tiene como objetivo crear nuevo contenido, como por ejemplo imágenes, texto o música. En este post exploraremos las diferentes formas de IA generativa, poniendo especial atención a las dos modalidades más populares: IA para escribir texto, e IA para generar imágenes.

¿Qué es la IA generativa y cómo funciona la IA que escribe y genera imágenes?

La inteligencia artificial es mucho más que una moda pasajera, es una fuerza poderosa que está moldeando el futuro. Desde la industria manufacturera hasta el sector sanitario, la IA se ha convertido rápidamente en una parte integral de nuestra vida diaria, redefiniendo cómo interactuamos, trabajamos, y vivimos. En este artículo, mostraremos 10 ejemplos específicos de cómo la IA está transformando diferentes industrias.

10 ejemplos reales de uso de IA en diferentes industrias


El reconocimiento facial es una de esas tecnologías que llevan décadas entre nosotros, pero se han visto revolucionadas por los recientes avances en IA. Desde etiquetado automático en redes sociales, a proteger el acceso a nuestros smartphones, el reconocimiento facial está jugando un papel cada vez más importante en nuestras vidas. Sin embargo, su funcionamiento interno es todavía un misterio para muchos usuarios.

En este post, describiremos cómo funciona el reconocimiento facial, mostrando ejemplos concretos de métodos utilizados en la industria. También mencionaremos algunos problemas éticos que rodean esta tecnología, como la privacidad o el sesgo. Al concluir este post, deberías tener un buen conocimiento de qué es el reconocimiento facial, como funciona, y qué técnicas específicas se suelen utilizar en un sistema de reconocimiento facial.


# Pasos típicos en un sistema de reconocimiento facial
Un sistema de reconocimiento facial utiliza algoritmos de machine learning para detectar caras y emparejarlas contra una base de datos de caras almacenadas. Dependiendo del tamaño de esta base de datos, podríamos estar hablando de verificación facial, o reconocimiento facial propiamente dicho.

La verificación facial es el proceso de comparar dos caras para tratar de averiguar si ambas muestran el mismo individuo. Este emparejamiento “uno contra uno” se suele utilizar en aplicaciones de control de acceso como Face ID. Por otro lado, el reconocimiento facial propiamente dicho trata de identificar una persona dentro de una amplia base de datos. Los sistemas de reconocimiento facial suelen ser más complejos que los de verificación, ya que incorporan sistemas de procesamiento de imagen robustos, y arquitecturas escalables. Los sistemas de reconocimiento facial pueden tener que lidiar con iluminación variable, diferentes ángulos de visión, o condiciones ambientales adversas. Además, también suelen requerir una arquitectura sofisticada que pueda encontrar individuos en bases de datos enormes.

Como muchos otros sistemas de IA, el reconocimiento facial tiene dos modalidades principales de fallo: falsos positivos, y falsos negativos. Cuando un sistema de reconocimiento facial empareja una persona con una entrada de la base de datos que no corresponde, estamos hablando de un falso positivo. Por otro lado, cuando el sistema de reconocimiento facial no es capaz de emparejar una persona en una base de datos en la que sí se encuentra, estaremos hablando de un falso negativo. Estos falsos negativos y falsos positivos normalmente se tienen que balancear, y los desarrolladores o investigadores deberán ajustar el sistema para priorizar unos u otros dependiendo de la aplicación. Por ejemplo, si estás utilizando reconocimiento facial para tratar de desbloquear tu teléfono, quizás prefieras intentarlo varias veces en vez de permitir a otro individuo no autorizado desbloquearlo; esto significa que prefieres que el sistema de reconocimiento facial tenga una tasa de falsos negativos mayor que la tasa de falsos positivos.

Por otra parte, hoy en día existen diferentes librerías de reconocimiento facial, como Deepface, que implementan un pipeline de análisis completo. Este pipeline consiste en 4 fases: Detección, alineado, representación, y verificación.


## Detección de caras
La detección de caras es el primer paso de un pipeline de reconocimiento facial. Consiste en identificar la presencia de caras en una imagen y localizarlas, normalmente enmarcándolas en un recuadro. Este proceso normalmente utiliza algoritmos de machine learning que estudian características como el color, textura, o forma, utilizando un conjunto de bloques de análisis aprendidos mediante un conjunto de datos de entrenamiento.

Una de las familias populares de algoritmos de detección de caras son las redes convolucionales “single stage”. Estas redes analizan la imagen en una sola pasada, sin necesitar pasos intermedios como pueden ser la propuesta de regiones, alcanzando así altas velocidades de detección. Algunas arquitecturas populares de esta familia son RetinaFace, SSD, o YOLO. La Figura 1 muestra el resultado de aplicar RetinaFace para detectar caras.

<figure className='mt-8 mb-4'>
  <Image src="/assets/posts/face-recognition/face-detection.png" alt='Face detection results' width='896' height='0' className="w-full h-auto" />
  <figcaption className='text-gray-800 mt-1 text-sm'> <span className='font-medium'> Figure 1. </span> Face detection results. Face detection algorithms such as RetinaFace generate both bounding boxes and facial landmarks locations. </figcaption>
</figure>


## Alineado de caras
Una vez detectada, la cara podría estar rotada, lo que reduce el rendimiento del reconocimiento facial. Para alcanzar el mayor rendimiento posible, se introduce un paso en el proceso para tratar de enderezar la cara. Este paso para enderezar la cara suele consistir en localizar puntos faciales como ojos, nariz, o boca, y entonces transformar la imagen de la cara para que la posición de estos puntos sea estándar.

Algunos algoritmos de detección de caras, como por ejemplo RetinaFace, ya detectan estos puntos faciales. En concreto, RetinaFace detecta ambos ojos, la nariz, y las comisuras de los labios. Una vez detectados estos puntos, podemos rotar la imagen para que ambos ojos queden a la misma altura. Por otro lado, otros algoritmos de detección no identifican estos puntos faciales. En este caso los desarrolladores pueden introducir un paso de postproceso que use redes sencillas como MobileNet para regresar estos puntos.

## Representación de caras
Los sistemas de reconocimiento facial no suelen utilizar la imagen de la cara directamente, lo que suelen hacer es calcular primero una firma digital. Esta firma es simplemente una lista pequeña de números que resume la apariencia de la cara. Los sistemas de reconocimiento facial almacenan estas firmas, también llamados vectores de características, en bases de datos que más tarde podrán ser consultadas para emparejar nuevas caras.

Algunas técnicas tradicionales como Local Binary Pattern Histograms (LBPH), usan técnicas sencillas como umbralizado e histogramas para representar la cara. Sin embargo, la mejora que han sufrido los algoritmos de deep learning ha llevado a esos métodos tradicionales a ser cada vez menos utilizados. Hoy en día, los sistemas de reconocimiento facial pueden utilizar redes convolucionales como Resnet, o transformers de visión como ViT, entrenados con funciones basadas en softmax como ArcFace.

## Verificación facial
Una vez calculado el vector de características de una cara, un último paso de verificación trata de encontrar la entrada más parecida en la base de datos y confirma que son suficientemente parecidos. De manera tradicional, esto se consigue calculando una métrica de distancia entre el vector objetivo y cada entrada de la base de datos. Sin embargo, si hiciésemos esto para todas las entradas conllevaría un coste computacional muy elevado, por lo que otros métodos como Approximate Nearest Neighbors (ANN) se suelen utilizar cuando tratamos con bases de datos de tamaño considerable.

Independientemente del método de búsqueda utilizado, la métrica de distancia siempre se suele utilizar para comparar la cara objetivo y la entrada de la base de datos. Existen diferentes métricas como la distancia euclídea, la distancia coseno, o la distancia de Mahalanobis. Por ejemplo, la distancia euclídea calcula la distancia entre dos vectores de características como la raíz cuadrada de la suma de las diferencias cuadradas de sus elementos.


# Algoritmos de reconocimiento facial populares
Hasta ahora hemos visto algunos de los pasos más típicos en un pipeline de reconocimiento facial. Desde el método Haar cascades, hasta redes de aprendizaje profundo, el reconocimiento facial se puede implementar con una variedad de algoritmos. En esta sección veremos dos algoritmos populares dentro de un pipeline de reconocimiento facial: RetinaFace y ArcFace. Estos algoritmos utilizan el poder de las redes de aprendizaje profundo para detectar y reconocer caras con gran precisión, posibilitando el despliegue de sistemas de reconocimiento facial en escenarios realistas como el control de acceso.

## RetinaFace 
RetinaFace es un algoritmo de detección de caras que utiliza una arquitectura convolucional para localizar caras en imágenes. Las características principales de RetinaFace son: 1) Sigue una arquitectura “single stage”. 2) Calcula información multiescala con una “feature pyramid network”. 3) Incorpora un módulo de contexto para agrandar el campo receptivo utilizado para detectar caras. 4) Aprende varias tareas al mismo tiempo para mejorar su rendimiento. La Figura 2 muestra la arquitectura de RetinaFace.

<figure className='mt-8 mb-4'>
  <Image src="/assets/posts/face-recognition/retinaface.png" alt='RetinaFace architecture' width='896' height='0' className="w-full h-auto" />
  <figcaption className='text-gray-800 mt-1 text-sm'> <span className='font-medium'> Figure 2. </span> RetinaFace architecture. RetinaFace uses a single-stage methodology where a multi-task objective is learned. For each face detection, the network computes a face score, the face box, five facial landmarks, and 3D vertices used to generate a face reconstruction. </figcaption>
</figure>

Una cualidad deseable en todo detector de caras es la velocidad de cálculo. Para maximizar esta velocidad, RetinaFace sigue una arquitectura “single stage”. Al contrario de las redes que utilizan procesos de proposición de regiones, RetinaFace extrae información directamente de las capas intermedias de una red de clasificación como ResNet. Esta información se utiliza para calcular los recuadros que enmarcan las caras directamente con capas convolucionales.

Otra característica clave de RetinaFace es el uso de una pirámide de características “feature pyramid network” para extraer información multiescala. La detección de caras en diferentes escalas es una cualidad deseable de cualquier detector, sin embargo, en vez de crear una pirámide de imágenes y ejecutar el detector en cada imágen de la pirámide, RetinaFace construye una pirámide interna de características. Esta pirámide de características mejora el balance entre escala e información semántica al incorporar información visual a cada capa intermedia de la red convolucional.

Además, para maximizar su robustez, RetinaFace incluye un módulo de contexto que agranda el campo receptivo que se usa para realizar la detección. Al ejecutar varias convoluciones de manera secuencial antes de hacer la detección final, RetinaNet aumenta el campo receptivo que le llega al módulo que realiza esta detección final.

Finalmente, RetinaFace también utiliza aprendizaje multiobjetivo para mejorar el rendimiento de la detección de caras. En vez de simplemente detectar los reduadros de las caras, RetinaNet tiene cuatro salidas diferentes. Las dos salidas principales son los resucadros de las caras, y la puntuación de esas caras. Sin embargo, RetinaFace también localiza 5 puntos faciales, y trata de recrear la apariencia de la cara localizada. De esta manera, consigue aprender una representación interna robusta que engloba cada uno de los diferentes objetivos, y así consigue mejorar el rendimiento de la detección. Además, los puntos faciales también se podrán utilizar para alinear las caras y mejorar así el rendimiento global del proceso de reconocimiento facial.

## ArcFace
ArcFace es un algoritmo de reconocimiento facial que utiliza redes convolucionales para generar vectores altamente discriminativos. Específicamente, ArcFace es una función de coste creada para mejorar el rendimiento de algoritmos de verificación facial, tratando de mejorar la distancia que separa descriptores de diferentes caras. La idea principal consiste en entrenar una red de clasificación, como ResNet, para clasificar la identidad de cada cara y además tener un margen que separe cada representación.

La función de coste ArcFace se basa en softmax, que es una de las funciones de coste más populares en deep learning, especialmente en tareas de clasificación. Sin embargo, al contrario que softmax, Arcface impone un margen angular entre las características de diferentes clases.

Esto se consigue modificando la ecuación típica de sofmax. Softmax recive el resultado de multiplicar cada peso y características intermedias. En vez de simplemente aplicar esta multiplicación, el producto se reescribe como la magnitud de ambos vectores multiplicado por su coseno. De esta manera, si añadimos un margen al ángulo con respecto a la clase objetivo, podemos forzar a que las características de dicha clase estén separadas del resto. La Figura 3 muestra cómo diferentes funciones de coste imponen diferentes márgenes.

<figure className='mt-8 mb-4'>
  <Image src="/assets/posts/face-recognition/decision-margins.png" alt='Arcface decision margin' width='896' height='0' className="w-full h-auto" />
  <figcaption className='text-gray-800 mt-1 text-sm'> <span className='font-medium'> Figure 3. </span> Different decision margins. Loss functions like ArcFace enforce a separation between the embeddings of different classes. </figcaption>
</figure>

Al introducir este margen angular, la función de coste ArcFace está tratando de agrupar los vectores pertenecientes a la misma clase, y separar aquellos que pertenecen a clases diferentes, resultando en un espació de características más discriminativo que ayuda a realizar reconocimiento facial. Además, el margen se puede ajustar para controlar el grado de separación, permitiendo que la red se adapte a diferentes dificultades.

# Reconocimiento facial a escala
Hasta ahora hemos descrito un pipeline de reconocimiento facial utilizando RetinaFace para detectar caras y alinearlas, y un clasificador convolucional entrenado con ArcFace para representarlas. Sin embargo, a medida que los sistemas de reconocimiento facial se popularizan, la necesidad de hacerlos escalables se vuelve más importante. Diseñar un sistema de reconocimiento facial que opere en entornos reales requiere algo más que simplemente desplegar un par de redes convolucionales, necesitamos también optimizar requisitos específicos como la latencia, el tiempo de procesamiento, o la memoria utilizada. En esta sección analizaremos algunos de los factores clave a la hora de escalar aplicaciones de reconocimiento facial. Primero trataremos la ejecución de algoritmos de detección de caras en tiempo real. Después mostraremos algunas estrategias para tratar entornos que tienen millones de identidades. 

Lo primero es lo primero, cómo podemos escalar las fases de detección y representación? Pues en este caso la complicación principal es la velocidad de procesamiento, así que podemos utilizar tecnologías de clusters como Kubernetes, Ray, o el autoescalado de un cloud público para escalar horizontalmente la aplicación. Frameworks como Kubernetes han ganado una grán popularidad a la hora de hacer despliegues escalables, disponibles, y portables a diferentes infraestructuras. Sin embargo, si bien es cierto que Kubernetes es una herramienta muy potente, también es verdad que consume muchos recursos y es difícil de configurar y mantener. Por otro lado, frameworks como Ray se han diseñado específicamente para simplificar el escalado de aplicaciones con machine learning. Para crear un cluster con Ray solo tenemos que crear un archivo YAML de 50-100 líneas con la descripción de nuestros trabajadores. Ray no necesita que definas de manera explícita “deployments”, “services” o “configmaps” como en Kubernetes, solo tienes que definir tus trabajadores y ya está. Además, podemos decorar el código de inferencia con
```python 
@serve.deployment(ray_actor_options={"num_cpus": 0.2, "num_gpus": 0}) 
``` 
para desplegarlo en un cluster de Ray que hayamos definido. Las opciones min_workers y max_workers, así como los requisitos que pongas en las funciones desplegadas, determinarán como escala el cluster; no tienes que definir estrategias en base a pods y clusters como en Kubernetes.

Otro factor clave a la hora de escalar sistemas de reconocimiento facial es cómo manejar el almacenamiento, recuperación, y emparejado de firmas faciales. Cuando una aplicación trata con millones de identidades, esto se convierte en un problema importante, ya que simplemente almacenar cada firma firma en memoria, e ir una a una calculando la distancia, se vuelve demasiado costoso. Por suerte, podemos utilizar motores de búsqueda como Elasticsearch para realizar esta búsqueda de manera eficiente. Esta manera de trabajar tiene dos variantes: 1) Dejar que Elasticsearch calcule la distancia utilizando script queries. 2) Utilizar búsqueda KNN para obtener un resultado aproximado. Cuando la base de datos es suficientemente larga, la búsqueda aproximada nos permite seguir ejecutando búsquedas eficientemente. Sin embargo, los resultados de esta búsqueda aproximada pueden contener errores, lo cual convierte el uso de esta técnica en un balance entre velocidad y precisión.

# Conclusión
El reconocimiento facial es una tecnología compleja que encapsula algoritmos de detección, alineado, representación, y emparejado. En este post hemos descrito estos pasos típicos de un pipeline de reconocimiento facial, y también hemos explicado algunos de los algoritmos más populares. Concluyendo este artículo en tecnología de reconocimiento facial, está claro que la tecnología tiene el potencial de volverse un pilar fundamental de nuestras vidas. Además, recientes avances en machine learning han posibilitado reconocer caras con rendimiento casi humano. Por otra parte, el escalado de estos procesos se ha democratizado con herramientas que nos permiten realizar despliegues a escalas masivas.

Por último, el futuro de las tecnologías de reconocimiento facial dependerá de cómo se desarrolle e implemente. No solo será importante empujar la precisión y velocidad de estos sistemas, sinó que también habrá que mantener presentes las cuestiones éticas, y así aprovechar el potencial de esta tecnología para crear un mundo mejor para todos.




El reconocimiento facial es una de esas tecnologías que llevan décadas entre nosotros, pero se han visto revolucionadas por los recientes avances en IA. En este post, describiremos cómo funciona el reconocimiento facial, mostrando ejemplos concretos de métodos utilizados en la industria.

¿Cómo funciona el reconocimiento facial?


La inteligencia artificial es una tecnología revolucionaria que está transformando la forma en la que trabajamos, vivimos e interactuamos. Sin embargo, los sistemas de IA son cada vez más complejos, esto los vuelve más opacos y hace que sea difícil razonar sobre ellos. La manera típica de evaluar la fiabilidad de modelos de machine learning ha sido durante años construir conjuntos de datos de evaluación, definir alguna métrica, y calcular el valor de esa métrica para el conjunto de evaluación. Sin embargo, a muchos usuarios ya no les basta con estas métricas y necesitan un conocimiento más profundo de cómo los modelos llegan a los resultados. Así es como nació el campo de la inteligencia artificial explicable, o explainalbe AI (XAI) en inglés.

En este post introduciremos el concepto de IA explicable, mostrando diferentes tipos de IA explicable y describiendo algunos algoritmos populares como Grad-CAM, LIME, or SHAP.


# ¿Qué es la IA explicable?
La IA explicable, o XAI, es un término algo genérico que engloba un conjunto de métodos que intentan mostrar por qué un algoritmo de IA está produciendo unos resultados concretos. A medida que los algoritmos de IA se vuelven más potentes, también tienden a volverse más opacos. Esta opacidad es la que llevó a los investigadores a acuñar el término “caja negra”, refiriéndose a modelos en los que es difícil entender por qué generan ciertos resultados. La Figura 1 muestra un gráfico que ilustra el típico equilibrio entre precisión e interpretabilidad.

Los modelos de caja negra son difíciles de aplicar en ciertos campos, como medicina o finanzas, en los que suele ser necesaria la supervisión humana. Sin embargo, para que esta supervisión sea eficaz, los usuarios deben de tener herramientas para verificar los resultados del modelo. Los usuarios deberían de ser capaces de saber por qué un préstamo se aprobó, o por qué un tratamiento se seleccionó. Estos son algunos ejemplos de por qué la IA explicable ha ganado tanta popularidad tras la aparición de modelos de caja negra de deep learning.

De todas formas, el término “IA explicable” no solo aplica a modelos de caja negra, ya que es un término bastante amplio sin un ámbito consolidado. Por ejemplo, el término “explicable” se suele asociar con algoritmos de postprocesado que analizan modelos de caja negra. Por otra parte, el término “interpretable” se suele utilizar para referirse a modelos que ellos mismos pueden dar algún tipo de explicación.

<figure className='mt-8 mb-4'>
  <Image src="/assets/posts/explainable-ai/accuracy-interpretability.png" alt='Equilibrio entre precisión e interpretabilidad' width='896' height='0' className="w-full h-auto" />
  <figcaption className='text-gray-800 mt-1 text-sm'> <span className='font-medium'> Figura 1. </span> Equilibrio entre precisión e interpretabilidad.</figcaption>
</figure>

Gracias a los algoritmos de IA explicable, podemos encontrar sesgos en cómo operan los modelos, y caracterizar mejor sus resultados. Los algoritmos de IA explicable son una herramienta fundamental para aquellas organizaciones que sospechan que un modelo puede estar dando respuestas engañosas, y quieren ganar confianza antes de ponerlo en un entorno de producción.

# ¿Por qué importa la IA explicable?
La explicabilidad e interpretabilidad son cruciales en el campo de la IA porque permiten que los humanos entendamos y confiemos en las decisiones tomadas por los sistemas inteligentes. Sin un conocimiento profundo, los usuarios pueden desconfiar o incluso temer a la IA.

Cuando la IA se aplica en tareas críticas, como por ejemplo la puntuación de crédito en EEUU, la explicabilidad no es solo importante, sino que también es necesaria. Los prestamistas deben notificar a sus clientes sobre las razones concretas por las que se les denegó un crédito. Otro ejemplo es el uso de información personal para realizar inferencias automáticas en Europa; en este caso, los usuarios tienen el derecho de obtener una explicación de las decisiones tomadas usando sistemas automatizados que usan su información personal, y producen efectos que los afectan de manera significativa.

Las regulaciones pueden ser un buen motivo para intentar implementar algoritmos de IA explicable, pero no son el único buen motivo. Por ejemplo, un modelo podría recomendar un tratamiento para un paciente, y puede que el doctor no esté de acuerdo. A primera vista, podríamos decir que el modelo de IA se ha equivocado y ya está, sin embargo, si el modelo es capaz de explicar sus deducciones, el doctor podría acabar identificando alguna variable que descuidó, y finalmente darle la razón al modelo.

La explicabilidad también ayuda a identificar y atajar sesgos en sistemas inteligentes. Si un sistema con IA está tomando decisiones basado en datos o algoritmos sesgados, la explicabilidad puede ayudar a identificar de dónde vienen esos sesgos, y cómo atajarlos. Esto es fundamental, ya que un sistema inteligente sesgado puede ayudar a perpetuar, o incluso amplificar, ciertas desigualdades.


# La taxonomía de la IA explicable
IA explicable es un término algo vago que se utiliza para englobar diferentes técnicas que tratan de aumentar la confianza que los usuarios tienen en los modelos de machine learning. Para tratar de entender mejor el amplio espectro que engloba el campo de la IA explicable, esta sección tratará de mostrar diferentes técnicas de IA explicable. Estas técnicas se han categorizado atendiendo a cuatro criterios: 1) Intrínseca o post hoc. 2) Específicas para un modelo o agnósticas. 3) Explicaciones locales o globales. 4) Resultados de la explicación.

## Intrínseca o post hoc
Algunos modelos de machine learning tienen propiedades intrínsecas que los hacen interpretables. Dos ejemplos populares son los modelos lineales y los árboles de decisión. Cada uno de los pesos en un modelo lineal puede interpretarse como la importancia de la correspondiente característica. Por otro lado, la ganancia de información media de los nodos que usan una característica concreta en un árbol de decisión, puede usarse como un indicador de la importancia de dicha característica.

Sin embargo, lamentablemente la mayoría de los algoritmos de machine learning no tienen una manera explícita de reflejar la importancia de cada característica. Para interpretar estos modelos, debemos utilizar un algoritmo extra que genere explicaciones atendiendo a cómo se comporta el modelo.

## Específica de un modelo o agnóstica
Algunas técnicas de explicabilidad se pueden aplicar a cualquier modelo de machine learning, mientras que otras solo se pueden aplicar a modelos específicos.

Un ejemplo común de técnica específica para un modelo es Grad-CAM, que usa los mapas de activación de capas convolucionales para generar explicaciones. Si un modelo no tiene capas convolucionales, o si las capas convolucionales no están dispuestas de cierta forma, Grad-CAM no se podrá aplicar.

Por otro lado, algoritmos como LIME o SHAP se pueden aplicar a cualquier modelo. Estos algoritmos inspeccionan el modelo de IA como una caja negra, y juegan con las entradas y salidas del modelo para generar explicaciones.

## Centrado en una muestra o en todo el modelo
Algunas técnicas de explicabilidad se enfocan a explicar resultados concretos de un modelo para una muestra. Por ejemplo, Grad-CAM genera mapas de activación para una imagen concreta después de haberla procesado con la red convolucional.

Por otra parte, existen otras técnicas de explicabilidad que tratan de generar explicaciones a nivel de modelo. SHAP es un buen ejemplo de esto, ya que trata de determinar la importancia de cada característica de un dataset en conjunto a través de valores Shapley.

## Explicación resultante
Diferentes técnicas de explicabilidad generan diferentes tipos de explicaciones. Algunas técnicas generan resúmenes de características como, por ejemplo, un número que indica la importancia de cada característica. Otras técnicas consisten en extraer la información interna de ciertos modelos como, por ejemplo, los pesos de cada característica en un modelo lineal. Por último, otro ejemplo es el uso de modelos simples, interpretables, que aproximan los resultados de otro modelo más complejo, de caja negra; este tipo de modelos simplificados se suelen denominar subrogados.


# Ejemplos de IA explicable
Ya hemos visto la amplia variedad que hay en el campo de la IA explicable, sin embargo, a lo largo de los últimos años algunos algoritmos se han popularizado especialmente. Ciertos métodos como SHAP han ganado un montón de atención gracias a su amplia aplicabilidad, mientras que métodos tradicionales de interpretabilidad como inspeccionar internamente los árboles de decisión se han mantenido populares ya durante décadas. En esta sección daremos breve introducción a algunos algoritmos populares de IA explicable.

## Árboles de decisión
Los árboles de decisión son una técnica popular de machine learning para trabajar con datos no lineales. Estos árboles dividen los datos iterativamente en forma de ramificaciones. Cada nodo del árbol representa una decisión, en la que un valor de corte para cierta característica divide un conjunto de datos en dos subgrupos. La característica seleccionada, y el valor de corte de cada nodo se eligen para maximizar la ganancia de información entre dicho nodo y sus hijos. Específicamente, se calcula la entropía en los nodos padre e hijos, ponderada por cuantas muestras alcanzan cada uno, y se trata de maximizar la ganancia de entropía siguiendo la siguiente ecuación.

<div className='my-6 md:my-8 text-xs md:text-base'>
$$
IG = E(parent) - \sum w_i E(child_i)
$$
</div>

Lo bueno de esta manera de trabajar, es que podemos utilizar esta ganancia de información como un indicador de la importancia de una característica. Sin embargo, dependiendo de como construyamos un árbol, una misma característica se podría acabar usando en varios nodos. Por ello, al calcular la importancia de una característica tenemos que comprobar todos los nodos que la utilizan, y ponderar la ganancia de información en cada uno de ellos utilizando la fracción de muestras que les llegan.

## Grad-CAM
El campo de la IA explicable empezó a ganar importancia, sobre todo, con la popularización de las redes convolucionales. Estas redes convolucionales son capaces de conseguir resultados espectaculares, sin embargo, parejo a esta gran capacidad llegó una mayor opacidad. Para ayudar a depurar estos modelos, nació el algoritmo Gradient-weighted Class Activation Maps (Grad-CAM).

Grad-CAM genera explicaciones visuales para cualquier red convolucional de clasificación. De manera resumida, este método sigue los siguientes pasos: 1) Encontrar la última capa convolucional del modelo a inspeccionar. 2) Pasar la imagen a inspeccionar por la red convolucional y conseguir una predicción. 3) Guardar las activaciones de la última capa convolucional. 4) Calcular los gradientes de la predicción con respecto de la última capa convolucional. 5) Promediar los gradientes para tener un solo valor para cada filtro convolucional. 6) Sumar las activaciones de la última capa convolucional ponderadas por los gradientes.

La explicación intuitiva es que la última capa convolucional debería de señalar aquellas áreas de la imagen que son importantes para calcular la salida. Además, cuando un filtro de la última capa cambia un poco, pero la salida del modelo cambia mucho, quiere decir que este filtro es importante para alcanzar dicha salida; dicho de otra manera, el gradiente de la salida con respecto de este filtro es grande. De esta manera, podemos “seleccionar” las activaciones de la última capa convolucional utilizando la información proporcionada por estos gradientes. La Figura 2 muestra un ejemplo de visualización obtenida con Grad-CAM.

<figure className='mt-8 mb-4'>
  <Image src="/assets/posts/explainable-ai/dog-grad-cam.png" alt='Visualización de Grad-CAM' width='896' height='0' className="w-full h-auto" />
  <figcaption className='text-gray-800 mt-1 text-sm'> <span className='font-medium'> Figura 2. </span> Mapa de atención para la clase “Perro”.</figcaption>
</figure>

## LIME
Otro algoritmo popular para generar explicaciones es Local Interpretable Model-agnostic Explanations (LIME). LIME es un algoritmo agnóstico, ya que no impone restricciones específicas para explicar un modelo. Esto es diferente a Grad-CAM, que requería que el modelo tuviese una última capa convolucional justo antes de calcular las predicciones finales.

LIME trata de generar muestras aleatorias alrededor de aquella que trata de explicar, y observa las salidas del modelo para estas nuevas muestras. La parte “Local Interpretable” de LIME significa que tratará de construir un modelo interpretable, como por ejemplo un modelo de regresión lineal, usando estas muestras aleatorias locales. Por ejemplo, en el caso de imágenes, LIME empieza dividiendo la imagen de entrada en superpixels, y después genera variaciones “apagando” aleatoriamente algunos superpixels. Después, LIME construye un modelo lineal ajustando la presencia o ausencia de estos superpixels a la salida del modelo que queremos explicar y, finalmente, genera una visualización de los superpixels en base a los coeficientes del modelo lineal ajustado. La Figura 3 muestra una explicación generada con LIME.

<figure className='mt-8 mb-4'>
  <Image src="/assets/posts/explainable-ai/husky-explanation.png" alt='Visualización de LIME' width='896' height='0' className="w-full h-auto" />
  <figcaption className='text-gray-800 mt-1 text-sm'> <span className='font-medium'> Figura 3. </span> Explicación de LIME para un clasificador sesgado. El modelo ha utilizado la nieve para inferir la clase “Husky”.</figcaption>
</figure>


## SHAP
Si bien LIME se suele utilizar para generar explicaciones locales de muestras concretas, SHAP está enfocado a generar tanto explicaciones locales, como globales.

SHAP es un algoritmo de IA explicable inspirado por los valores Shapley, un método de teoría de juegos que trata de distribuir “pagos” entre diferentes jugadores. Estos jugadores se pueden interpretar como las características de una muestra en el conjunto de algoritmos de machine learning.

La idea general es comparar las salidas de un modelo para una determinada muestra, y la misma muestra pero con una característica “tapada”. Este procedimiento se repite para todas las combinaciones de características, para así tratar de averiguar cómo “cooperan” entre ellas. Finalmente, las contribuciones de cada característica, para todas las combinaciones, se promedian, y así conseguimos calcular la contribución de una característica específica. Este proceso se resume en la siguiente ecuación.

<div className='my-6 md:my-8 text-xs md:text-base'>
$$
\phi_i =\sum_{S\subseteq F \backslash \{i\}}\frac{|S|!(|F|-|S|-1)!}{|F|!}(f(x_{S\cup\{i\}})-f(x_{S})
$$
</div>

El problema con SHAP es que requiere muestrear todas las posibles combinaciones de características. Si un modelo opera con sólamente 4 características, SHAP solo tiene que muestrear 64 coaliciones. Sin embargo, con solamente 30 características, tendría que evaluar el modelo en millones de variaciones. Por esta razón, los autores de SHAP han creado versiones específicas como KernelSHAP o TreeSHAP que tratan de minimizar esta carga computacional.

KernelSHAP es todavía una variante agnóstica, pero usa un modelo lineal para aproximar un subconjunto de coaliciones. Esto es similar al proceso que sigue LIME, sin embargo, la contribución de cada muestra se pondera de forma diferente. En LIME, el peso se calcula teniendo en cuenta la distancia entre la variante y la muestra original. Por otro lado, en SHAP, el peso se calcula en base al número de características que se han utilizado. De hecho, segun los autores de SHAP “si utilizamos el kernel Shapley que hemos propuesto como el kernel local de LIME, entonces LIME producirá estimaciones de los valores de SHAP”. La Figura 4 muestra el resultado de explicar un regresor XGBoost entrenado en el dataset Boston.

<figure className='mt-8 mb-4'>
  <Image src="/assets/posts/explainable-ai/shap.png" alt='Visualización de SHAP' width='896' height='0' className="w-full h-auto" />
  <figcaption className='text-gray-800 mt-1 text-sm'> <span className='font-medium'> Figura 4. </span> Explicación de SHAP para un regresor XGBoost entrenado en el dataset Boston.</figcaption>
</figure>

# Conclusión
La IA explicable es un aspecto cada vez más crítico en el ciclo de vida del machine learning. A medida que la IA continúa penetrando en nuestras vidas, es fundamental que entendamos las decisiones tomadas por estos sistemas. Al hacer los modelos de IA más transparentes e interpretables, podemos mejorar la confianza en sus decisiones, y contribuir a que tomen decisiones justas y éticas.

En este post hemos dado un repaso a la explicabilidad e interpretabilidad en IA, introduciendo el concepto de aplicabilidad de modelos, mostrando lo amplio que es el campo de la explicabilidad, e incluyendo ejemplos concretos de técnicas populares.

A medida que el uso de la IA se vuelve más generalizado, se vuelve cada vez más claro que la explicabilidad se convertirá en un factor clave. Priorizando la explicabilidad, podemos construir sistemas inteligentes que además sean fiables.


Los sistemas de IA son cada vez más complejos, esto los vuelve más opacos y hace que sea difícil razonar sobre ellos. Muchos investigadores ya no creen solamente en las típicas métricas y buscan un conocimiento más profundo de cómo los modelos llegan a los resultados que calculan. En este post introduciremos el concepto de IA explicable, mostrando diferentes tipos de IA explicable y describiendo algunos algoritmos populares como Grad-CAM, LIME, or SHAP.

Una breve introducción a la IA explicable


Today, machine learning can be run on almost any device. However, when it comes to training neural networks, the hardware you choose will significantly condition the necessary financial outlay, and the time it will take for the network to learn.

There are two major options when choosing hardware to train convolutional networks. On the one hand, you can use services like AWS, Azure, or Google Cloud. These services allow you to create a custom server, configuring the amount of RAM, how many CPUs you want, or what graphics card (GPU) you need. However, if you have ever calculated how much these services cost, you will have seen that they are not cheap, being able to pay almost €300 to use a server with a GPU for 24 hours. There are ways to reduce the cost of these services, such as using preemptible servers. This is not a perfect solution, since the service provider reserves the right to shut down the server if it needs to use that hardware, this makes you have to create fault-tolerant software, reducing the hardware cost on the one hand, but increasing the cost. of the software.

An alternative to using cloud services is to buy your own PC, specifically configured for machine learning. This will mean significant economic savings, since cloud services use server graphics cards that are significantly more expensive, and offer a series of services such as high availability, which do not benefit you much when training convolutional networks. . In addition, the use of your own PC will facilitate the development of software, since you will work with the data locally, and you will be able to see graphic information more easily.

In this article we explain what components you should buy to train your own models while saving money. We will choose every part of the PC without considering preconfigured computers that are usually more expensive, and the goal will be to achieve high performance using consumer hardware. All this with a budget of €3000.

The good news is that a PC only has 8 components that we must choose from. These components are GPU, CPU, RAM, hard drive, motherboard, power supply, cooling, and case.

## Graphics card or GPU

The GPU is the component that will do most of the heavy computation when you train a convolutional network. Primarily, these calculations include convolutions, matrix multiplications, and activation functions.

The GPU you choose must meet three fundamental requirements. First of all, it must have enough memory to store all the information used during the training. This information includes how much each of the neural network parameters (connection weights, convolution filter values...) contributes to the analysis error. In this way, thanks to having this information stored, the training process can tune the variables of the neural network so that it works a little better in each training cycle. The second requirement is processing speed, which is typically correlated to the amount of memory the GPU includes. The processing speed determines the number of images to be processed per second. This way, a faster GPU will take less time to train, allowing you to do more experiments and increasing your productivity. Finally, deep learning libraries such as PyTorch or TensorFlow use CUDA, a framework developed by NVIDIA to perform parallel computing on graphics cards, so the graphics card you buy must be from this brand to ensure maximum compatibility.

Every two years, NVIDIA releases a series of GPUs, with the 20 series being the current family of graphics cards. Within this series, the model with the fastest memory and processing speed is the 2080 Ti with 13.45 TFLOPs (trillion operations per second) and 11 GB of GDDR6 memory. Its price is approximately €1300.

Being the most important component when it comes to training convolutional networks, this article could be extended a lot if it included graphics card comparisons. For this reason, I recommend that you pay attention to the following blog entry, where different GPUs are compared based on their performance and price.


## CPU

During the training of neural networks, one of the most important functions of the CPU is to execute all the operations of the data "path" that goes from reading data on the hard disk, to moving the data to the GPU for for the convolutional network operations to be executed.

The CPU plays a key role in the training of deep learning architectures since, in many cases, it is in charge of decoding, normalizing, and performing other preprocessing techniques. This way, if the CPU is not fast enough, it will take time for data to reach the GPU, making the graphics card idle while it waits for data, and slowing down training.

The importance of the CPU increases if it is necessary to preprocess the data in each training iteration. A solution that is often used, especially when the computer does not have enough RAM to store the entire data set, is to read the data from the hard drive at each training iteration. This increases the workload of the CPU, since before executing the convolutional network the processor must convert the data to the corresponding format. If you have programmed your network with Keras, you can use the tf.data.Dataset API to optimize the data path. This API allows you to load data with the CPU while executing a convolutional network with the GPU, or parallelize the execution of preprocessing algorithms. On the other hand, TensorFlow and PyTorch use vector operations like SSE or AVX, so you must have a compatible CPU to get the most out of these libraries.

In terms of brands, the leading manufacturer in market share is Intel. This brand releases a generation of new CPUs every year, and they are currently on generation 10. Each generation has 3 main models called i3, i5, and i7 ordered from lowest to highest performance respectively. You must also be careful since each model has variants, for example, some variants of the i7 processor are i7-10700, which does not allow changing the clock frequency, and i7-10700k that does allow it. The i7-10700k processor is priced at around €440, which leaves us with a total of €1740 so far.


## RAM

RAM memory is a component that you should also choose taking into account what type of model you want to train. In many cases you will find yourself with a simple model, and a small data set, which allows you to load everything into RAM. Storing all data in RAM will, in many cases, result in a reduction in the amount of time spent training, as fewer data preprocessing operations will be performed.

However, the aforementioned consumer processors have a relatively low limit on the amount of RAM they can use. Depending on the chosen processor specifications, we could not use more than 128GB of RAM on our computer. Also, if we combine this with the fact that the price of DDR4 RAM memory is above €5 per GB, you could spend a significant amount of money so that, in many cases, you have excess memory, and in other cases you lack , but is mitigated by using TensorFlow to optimize the data path.

A reasonable decision is to keep the amount of RAM in the 32-64GB range so that the price of the PC does not skyrocket (even more). For this configuration, we will use 2 16GB sticks of the Corsair Vengeance LPX DDR4 3200 model. This means an additional €170, making a total of €1,910.


## HDD

The hard drive is used to save training data. Traditionally, the most frequently checked metric on hard drives was their storage capacity. This changed with the advent of solid-state hard drives, which greatly increase the speed of reading and writing data.

When you train machine learning algorithms, you have to take those two metrics into account. On the one hand, the hard drive must have enough capacity to store all the training data. But on the other hand you want to have a hard drive with a read speed fast enough to keep the GPU busy all the time. Also, you must take into account that in some cases you will use the TFRecord format to save data, which means an increase in the space occupied by the data, not only because they are duplicated, but also because you will be saving the data directly in matrix form. Finally, you have to check the speed of the hard drive you want to buy, although M.2 hard drives have grown in popularity, the fact of having an M.2 format is not synonymous with speed. Read speeds range from around 400MB/s to nearly 2.5GB/s, surpassing the access speed of first-generation DDR RAM.

In this PC we will use the Samsung 970 EVO Plus (1TB) model, which has an approximate price of €250. Thus we add €2160.


## Motherboard

The motherboard is the component to which you connect the CPU, GPU, and RAM so that they work together. It must be Intel 10 series compatible, have a PCI express x16 slot to plug the GPU into, and run on DDR4 RAM.

Something to keep in mind is that although a PCI express slot is physically x16, inside it may be working as x8, or even 4x. This means a lower speed in data transfer and can penalize the training time, for this reason you must be careful when choosing a motherboard, and read the manufacturer's specifications well. The PCI express configuration becomes more important when you want to use multiple graphics cards, since it is more common for the second x16 slot on a motherboard to run at a slower speed.

For this PC we have chosen MSI's MPG Z490 Gaming Plus motherboard. This motherboard ticks all the boxes, uses Intel's 10-series compatible Z490 chipset, has one x16 slot working in x16 mode (although the second x16 slot works in x4 mode), and has 4 slots for DDR4 RAM. This motherboard costs €190, totaling €2,350 so far.


## Power supply


The power supply is responsible for providing current to the different components of the computer. The main characteristics are the output watts, the efficiency, and the number of connectors.

First of all, you must choose a source that is capable of powering all the components. The chosen GPU consumes 300W according to the manufacturer's specifications, all other components combined are in the 250-300W range. This means that you must assume a consumption of 600W, but it does not mean that you can buy a 600W source, you still have to count the efficiency, and verify that the chosen source has enough connectors to power everything.

The efficiency of the power supplies is marked with the distinctive “80 Plus” and the White, Bronze, Silver, Gold, Platinum, and Titanium variants. The efficiency of the 80 Plus sources goes from 82%, for the White models, to 94% for the Titanium. If you put yourself in the worst case, an efficiency just above 80%, the calculation results in a source of 600W/80%=750W.

Finally, not all 750W power supplies will have a sufficient number of connectors to power the equipment. The critical point of this PC is the GPU, which needs 3 PCIe connectors (6+2).

One source that ticks all the boxes is Corsair's TX750M. It offers 750W, has 4 PCIe connectors, and has an efficiency of the 80 Plus Gold type. This source costs €120, and puts the PC at €2470.


## Refrigeration


When the CPU starts pre-processing the data, its temperature will start to rise. In case the temperature exceeds 90ºC, its speed will be automatically reduced to allow it to cool down and prevent damage.

CPUs usually come with a small fan. This fan is aimed at users who will not leave the PC working for several hours in a row. However, if you train your network on a PC with this fan, it could get hot enough to reduce performance. If CPU performance drops, it could end up becoming a bottleneck, resulting in an underutilized graphics card, and lengthening training time.

An alternative is third-party heatsinks, or liquid cooling kits. These components offer higher CPU cooling performance, and make less noise. Also, if you want to overclock, a liquid cooling kit will allow you to push the performance a bit further.

For this PC we have chosen Corsair's Hydro H100x liquid cooling kit. This kit has an approximate price of €90, adding a total of €2580.


## Case


The case will store the different components of the PC. The main requirement of the case is its size, it must be compatible with the ATX motherboard format, it must be long enough to fit the graphics card, and it must have a hole for the radiator and fans. As an end user, you can also choose whether you want it to have a side window, front ports, or even sound deadening panels.

In this article we have chosen the Corsair Carbide 275Q model, it has enough space for the GPU and ventilation, in addition to having acoustic panels that will reduce the noise of the PC by a couple of decibels. This box costs €85, which means a total of 2645.




## What models can you train with this PC?
The hardware we have chosen will be enough to train most networks. You will be able to train classification networks like ResNet or Xception, segmentation networks like U-Net or DeepLab, and location networks like YOLO. In general, you will be able to use "minibatches" of images up to 512x512 pixels, from this size there will come a time when not even an image will fit in the GPU memory, because all the intermediate results of the processing are saved to correct the error. Still, there will be many networks that you can train for images close to 512x512 in size, for this you will need to use a reduced batch size, and make some small adjustments, such as replacing batch normalization with batch renormalization.

There will also be problems that you cannot deal with this PC. For example, you won't be able to train a Transformer architecture from scratch, due to the large amount of data that is typically used. According to current records, to train BERT in one hour you would need 1472 NVIDIA V100 GPUs. Still, you can download a pretrained model and refine it with your dataset.








In this article we explain what components you should buy to train your own models while saving money. We will choose every part of the PC without considering preconfigured computers that are usually more expensive.

Tu empresa de innovación

IA, IoT, y desarrollo web

Inteligencia artificial, Internet of Things, y desarrollo web

En un mismo lugar

Ya confían en nosotros

Qué consigues

IA desplegada en aplicaciones web con UX de primer nivel

Automatiza trabajo tedioso

Experiencia de usuario impecable

Conecta tus datos

Nuestro amplio stack tecnológico

Somos tu empresa de IA