Ciò che alimenta il bot openai che ha battuto Dendi

La scorsa settimana, la storia è stata creata nei regni di Dota 2 e AI. All'International, Dendi, uno dei migliori giocatori del gioco, è stato battuto senza pietà in un 1 contro 1 da un robot, due volte di seguito. Il bot in questione è stato realizzato da OpenAI, una startup di Elon Musk.

Ora potresti avere qualche domanda. Che cos'è Dota? Che cos'è OpenAI? E perché questo è persino importante? Per cominciare, Dota è un gioco MOBA free-to-play in cui controlli Heroes e il tuo obiettivo è distruggere gli avversari Ancient. Molti fan di Dota possono offendersi per l'ultima frase, dato che c'è così tanto a Dota che ho riassunto.

Il gioco è molto complesso con una curva di apprendimento molto ripida. Mi ero imbarcato in una missione per imparare Dota qualche tempo fa e mi ci è voluta una settimana solo per passare attraverso un video How To di base, in cui spiegano la strategia del gioco, cosa fanno armi, incantesimi, eroi e come estrarre i brividi. E questo rende l'intera battaglia tra AI e Dendi importante perché illustra quanto sono diventati avanzati AI e ML. Quindi vediamo cosa sta alimentando quel bot e dobbiamo avere paura della rivolta dell'IA.

Aumento del pianeta dell'IA

L'intelligenza artificiale che diventa Skynet è un problema discutibile. Elon Musk ritiene che, se non tenuto sotto controllo, è probabile che accada uno scenario simile a Skynet. D'altra parte, Mark Zuckerberg afferma che l'IA è innocua e non causerà lo scenario del giorno del giudizio. Elon Musk ha iniziato OpenAI con questo obiettivo.

Prevenire l'abuso dell'IA e la ricerca sull'IA che non si rivolterà contro di noi. E io sono dalla sua parte.

Ma non è di questo che discutiamo. L'argomento principale è sapere cosa sta alimentando il bot creato da OpenAI. Per comprenderlo, ho letto alcuni articoli di ricerca e blog sull'argomento e ho anche contattato la mia amica Anmol Sharma, ricercatrice di AI e ML.

Insegnamento rafforzativo

Questo è il nome della tecnologia alla base del bot Dota di OpenAI. Ma prima di approfondire, dobbiamo capire come funziona l'IA generale, o in particolare l'IA nei videogiochi. L'intelligenza artificiale è un termine molto consiglio e contiene molti argomenti come Machine Learning, Deep Learning e Neural Networks per citarne alcuni. Per definire grossolanamente l'IA, possiamo dire che è la capacità di un computer di apprendere dalle informazioni e prendere decisioni in base all'apprendimento. Più impara, più aumenta la correttezza delle decisioni.

In cosa differisce dai normali Bot?

I robot nei videogiochi in generale possono sembrare intelligenti ma non sono una vera forma di intelligenza artificiale. Quasi tutti questi robot nei giochi sono programmati in base al set If..This..Then..This dichiarazioni. Seguono solo le dichiarazioni e intraprendono azioni in base alle condizioni scritte nella dichiarazione.

Sopra ho mostrato un esempio molto semplice. Le dichiarazioni nei giochi reali sono molto più complesse con condizioni all'interno di condizioni. Più queste dichiarazioni sono ben definite e dettagliate, più il robot sembrerà intelligente.

Premi e punizioni

Nel gergo AI, ciò che chiamiamo bot è noto come agente. L'obiettivo è far apprendere all'agente tutto ciò che vogliamo che impari. L'agente impara con lo stesso metodo che il tuo cane impara, attraverso premi e punizioni. Ogni volta che l'agente commette un errore viene penalizzato e ogni volta che fa la supposizione corretta o dà la risposta corretta, viene premiato. Attraverso questo sistema, l'agente impara ad associare le azioni che non dovrebbe fare per evitare penalità ed eseguire l'azione (o azioni simili) che danno ricompense.

Se ci pensate da vicino, è proprio come prendere una decisione in base a determinate condizioni, proprio come fanno gli algoritmi. Come ho mostrato sopra, un robot di gioco, che si imbatte in un barile esplosivo, intraprenderà azioni secondo l'algoritmo. Gli algoritmi nell'intelligenza artificiale, ovviamente, sono enormemente complessi di questo, il che rende l'intero sistema intelligente.

Venendo al nostro bot OpenAI, secondo gli sviluppatori, ha imparato l'intero gioco in 2 settimane. Per tutto il tempo di 2 settimane, era online 24 × 7 e giocava contro una copia di se stesso. È una pietra miliare notevole considerando la complessità del gioco e il fatto che potrebbe battere Dendi.

Perché le auto senza conducente non sono ancora qui?

Questa è stata una delle prime domande che mi sono venute in mente quando ho saputo di tutto questo evento. Se un robot può imparare un gioco del genere e allenarsi fino al punto di battere i migliori giocatori, perché stiamo ancora equipaggiando la ruota. E questa è stata la stessa domanda che ho fatto al mio amico, il signor Anmol Sharma, che ha anche fatto ricerche su auto senza guida. Questo è quello che aveva da dire.

In un gioco, sviluppato da un essere umano, il numero di variabili è inferiore. Inoltre, se l'agente (bot) commette un errore, la penalità peggiore è una perdita rotonda. Nel mondo reale, un errore è la morte.

Anche se Dota è un gioco complesso, le possibili combinazioni di mosse, incantesimi e tattiche, sebbene ancora assurdamente grandi, sono ancora limitate. E gli errori sono ammessi senza alcuna penalità reale. Ma nel caso di un agente di auto senza conducente, gli errori possono portare a incidenti pericolosi e persino alla morte.

Nel mondo reale, il numero di variabili che l'agente deve monitorare è infinito e anche le situazioni che si verificano a causa di queste variabili, come un'altra macchina che cambia improvvisamente corsia, il salto pedonale davanti all'auto, sono infinite. Inoltre, come diceva Jeremy Clarkson, dovranno prendere decisioni morali ed etiche quando sono sull'orlo di un incidente immediato (sebbene la sua teoria non sia valida).

Il futuro

Conosciamo già robot controllati dall'uomo che eseguono interventi chirurgici intrinseci. Il prossimo salto sono i robot controllati dall'IA che lo eseguono. E questo è solo in campo medico. L'intelligenza artificiale sarà sicuramente la nuova tecnologia dominante nel prossimo decennio in molti settori. Ma l'IA può anche essere utilizzata in modo improprio per scopi nefasti come attacchi DDoS, robot ransomware e hacking di altri PC o sistemi di società.

Per quanto riguarda Dota e altri giochi, possiamo aspettarci di vedere simili robot intelligenti realizzati anche per altri giochi, contro i quali i giocatori possono allenarsi per ottenere prestazioni ancora migliori. E ho già detto che OpenAI farà un 5v5 all'International del prossimo anno? Quindi vado a ripulire le mie abilità Dota per almeno sconfiggere i robot più stupidi incorporati. Divine Rapier qui vengo!