¿Qué potencia al bot openai que vence a Dendi?

La semana pasada, se creó la historia en los reinos de Dota 2 y AI. En The International, Dendi, uno de los mejores jugadores del juego, fue derrotado sin piedad en un 1v1, por un bot, dos veces seguidas. El bot en cuestión fue hecho por OpenAI, una startup de Elon Musk.

Ahora puedes tener algunas preguntas. ¿Qué es dota? ¿Qué es OpenAI? ¿Y por qué es esto tan importante? Para empezar, Dota es un juego MOBA gratuito en el que controlas a Heroes y tu objetivo es destruir a los oponentes Ancient. Muchos fanáticos de Dota pueden ofenderse hasta la última oración, ya que hay tanto para Dota que he resumido.

El juego es muy complejo con una curva de aprendizaje muy empinada. Me había embarcado en una misión para aprender Dota hace algún tiempo y me llevó una semana leer un video básico de Cómo, donde explican la estrategia del juego, qué armas, hechizos, héroes hacen y cómo minar a los pelos de punta. Y esto hace que toda la batalla de AI vs Dendi sea importante porque ilustra cuán avanzado se ha vuelto la IA y el ML. Entonces, veamos qué está impulsando ese bot y ¿debemos asustarnos sobre el levantamiento de la IA?

Ascenso del planeta de la IA

La IA que se convierte en Skynet es un problema discutible. Elon Musk cree que si no se mantiene bajo control, es probable que ocurra un escenario similar a Skynet. Por otro lado, Mark Zuckerberg dice que la IA es inofensiva y no causará Doomsday Scenario. Elon Musk comenzó OpenAI con este objetivo.

Para evitar el mal uso de la IA y la investigación de la IA que no se volverá contra nosotros. Y yo estoy de su lado.

Pero eso no es lo que estamos aquí para discutir. El tema principal es saber qué está impulsando el bot hecho por OpenAI. Para comprenderlo, leí algunos artículos de investigación y blogs sobre el tema y también me puse en contacto con mi amigo Anmol Sharma, investigador de IA y ML.

Aprendizaje reforzado

Este es el nombre de la tecnología detrás del bot Dota de OpenAI. Pero antes de profundizar en ello, debemos entender cómo funciona la IA general, o específicamente la IA en los videojuegos. AI es un término muy común y contiene muchos temas, como el aprendizaje automático, el aprendizaje profundo y las redes neuronales, por nombrar algunos. Para definir crudamente la IA, podemos decir que es la capacidad de una computadora para aprender de la información y tomar decisiones basadas en su aprendizaje. Cuanto más aprende, más aumenta la corrección de la decisión.

¿Cómo es diferente de los bot normales?

Los bots en los videojuegos en general pueden parecer inteligentes, pero no es una verdadera forma de IA. Casi todos estos bots en los juegos se programan según el conjunto If..This..Then..That declaraciones. Simplemente siguen las declaraciones y toman medidas basadas en las condiciones escritas en la declaración.

Arriba he mostrado un ejemplo muy simple. Las declaraciones en juegos reales son mucho más complejas con condiciones dentro de las condiciones. Cuanto más bien definidas y detalladas sean estas declaraciones, más parecerá que el robot es inteligente.

Recompensas y castigos

En la jerga de AI, lo que llamamos bot se conoce como un agente. El objetivo es hacer que el agente aprenda lo que queramos que aprenda. El agente aprende a través del mismo método que aprende su perro, a través de recompensas y castigos. Cada vez que el agente comete un error, es penalizado y cada vez que adivina correctamente o da la respuesta correcta, es recompensado. A través de este sistema, el agente aprende a asociar las acciones que no debe hacer para evitar penalizaciones y realizar la acción (o acciones similares) que otorgan recompensas.

Si lo piensas detenidamente, es como tomar decisiones basadas en ciertas condiciones, al igual que lo hacen los algoritmos. Como he mostrado anteriormente, un bot del juego, que se encuentra con un barril explosivo, tomará medidas según el algoritmo. Los algoritmos en IA, obviamente, son mucho más complejos que esto, lo que hace que todo el sistema sea inteligente.

Al llegar a nuestro bot OpenAI, según los desarrolladores, aprendió todo el juego en el tiempo de 2 semanas. Durante todo el tiempo de 2 semanas, estuvo en línea 24 × 7 y jugó contra una copia de sí mismo. Es un hito notable teniendo en cuenta la complejidad del juego y el hecho de que podría vencer a Dendi.

¿Por qué los automóviles sin conductor todavía no están aquí?

Esta fue una de las primeras preguntas que surgió en mi mente cuando escuché sobre todo este evento. Si un bot puede aprender un juego así y entrenarse para derrotar a los mejores jugadores, ¿por qué seguimos manejando la rueda? Y esta fue la misma pregunta que le hice a mi amigo, el Sr. Anmol Sharma, quien también ha investigado sobre autos sin conductor. Esto es lo que tenía que decir.

En un juego, desarrollado por un humano, el número de variables es menor. Además, si el agente (bot) comete un error, la peor sanción es una pérdida de ronda. En el mundo real, un error es la muerte.

Aunque Dota es un juego complejo, las posibles combinaciones de movimientos, hechizos y tácticas, aunque todavía son absurdamente grandes, siguen siendo limitadas. Y se permiten errores sin ninguna penalización real. Pero en el caso de un Agente de automóviles sin conductor, los errores pueden provocar accidentes peligrosos e incluso la muerte.

En el mundo real, la cantidad de variables que el agente tiene que monitorear son infinitas y las situaciones que se producen debido a estas variables, como otro automóvil que cambia repentinamente de carril, el salto de peatones frente al automóvil, también son infinitas. Además, como lo expresó Jeremy Clarkson, tendrán que tomar decisiones morales y éticas cuando estén al borde de un accidente inmediato (aunque su teoría no es válida).

El futuro

Ya sabemos de robots controlados por humanos que realizan cirugías intrínsecas. El siguiente salto son los robots controlados por IA que lo realizan. Y esto es solo en el campo de la medicina. La IA seguramente será la nueva tecnología dominante en la próxima década en muchos campos. Pero, la IA también puede ser mal utilizada para propósitos nefastos como ataques DDoS, Ransomware Bots y pirateo de otras PC o sistemas de corporaciones.

En lo que respecta a Dota y otros juegos, podemos esperar ver que también se hagan bots inteligentes para otros juegos, contra los cuales los jugadores pueden entrenar para desempeñarse aún mejor. ¿Y mencioné que OpenAI hará un 5v5 en el próximo año internacional? Así que estoy listo para mejorar mis habilidades de Dota para al menos derrotar a los bots más tontos incorporados. ¡Estoque divino aquí vengo!