В миналото играта, която се използваше за разработка и развитие на алгоритми беше шахът. За разлика от DOTA обаче шахът е игра с пълна информация. Това значи, че всеки един от играчите знае всичко за състоянието на играта, не само положението и вида на своите фигури, но и на тези на противника. Това прави изчисленията сравнително по-прости, тъй като има краен брой възможности за всеки играч и двамата играчи могат с „поглед“ да ги преценят (ако имат достатъчно изчислителна способност).

При DOTA обаче противниците се виждат, само ако „се бият“ с твои съюзници или се опитват да атакуват твоя структура. Освен това е трудно да разбереш какви точно са им точките сила, защита живот, както и да се определят редица други важни за играта променливи, например дали могат да използват определена магия или ефект на свой предмет. Освен това DOTA е отборна игра и отбор от петима играчи се изправя срещу друг такъв, което значи, че не само трябва да се справиш със скритата информация за всеки един от играчите, но и за комбинациите, които могат да използват. С две думи DOTA е в пъти по сложна от шаха, що се отнася до изчисляването на оптимална игра.

Екипът на OpenAI решава да раздели проблема на няколко части и да използва така нареченият Reinforcement Learning Algorythm, за да ги реши. Първо те правят изкуствен интелект, който да се научи да играе на така нареченото 1в1, тоест само един играч срещу друг до първо убийство, кула или определено количество злато.

Това беше постигнато на 11 август 2017 г., – „този основен етап показа, че нашата система за DOTA е научила механичните правила на играта на световно-конкурентни нива в този 1в1 мач – използвайки една от трите линии в една от трите фази на играта, обикновено с продължителност 10 и не повече от 45 минути, използвайки само един герой и без неутрални противници“. От цитата се разкриват и други сложни аспекти на играта, които учените решили да пренебрегнат, поради факта, че тя ще стане твърде сложна за решаване от алгоритъма на този етап.

Втората стъпка е да се победи отбор от петима играчи с отбор от пет изкуствени интелекта. След постигането на богоподобен статус от играта DOTA, тези мачове не се играят в някой компютърен клуб, а на сцени, като всеки друг модерен спорт.

OpenAI Five загуби две игри срещу топ играчи на DOTA 2 на “International 2018” – турнир във Ванкувър на ограничени 5в5 (18 героя, без руна за илюзии и множество забранени предмети).

Въпреки това победата бе постигната на 13 април тази година – OpenAI Five е първият изкуствен интелект, който е победил световните шампиони в игра със статут на електронен спорт, като спечели две мача срещу световния шампион на DОТА 2 – отборът OG.

Но как работи OpenAI Five? Това е екип от пет изкуствени невронни мрежи, за които можете да мислите като за симулирани „мозъци“, които са проектирани така, че да бъдат добри в изучаване на DОТА, но да започнат без никакви знания за играта. Общо взето, единственото, което знаят е, че „е лошо да се умира и е хубаво да се взима злато от различни източници“. OpenAI Five вижда света като списък от 20 000 числа, които кодират видимото състояние на играта (ограничен до информацията, на която е разрешено да вижда човек) и избира действие, като излъчва списък от 8 числа. Екипът на OpenAI пише код, който измисля връзка между състоянието/действията на играта и списъците с числа. Веднъж обучени, тези невронни мрежи са създания с чист инстинкт, които прилагат памет, но иначе не учат по-нататък. „Те играят като екип, но ние не проектираме специални комуникационни структури – само им предоставяме стимул.“

„Невронните мрежи на OpenAI Five започват със случайни параметри и използват нашата система за обучение с общо предназначение „Rapid“, за да научат по-добри параметри.“ „Rapid“ разполага с OpenAI Five копия за игра, генерирани 180 години данни за игра, всеки ден в десетки хиляди едновременни игри, консумиращи 128 000 CPU ядра и 256 GPU, ядра. Във всеки кадър на играта „Rapid“ изчислява числова награда, която е положителна, когато се е случило нещо добро (напр. Съюзнически герой е придобил опит) и отрицателна, когато се е случило нещо лошо (напр. Съюзнически герой е убит). „След това „Rapid“ прилага нашия алгоритъм за оптимизиране на проксимални политики, за да актуализира параметрите на невронната мрежа, като прави действията – възникнали преди положителното възнаграждение – по-вероятни, а тези преди отрицателна награда – по-малко вероятни.“

Точно както хората не планират мускулните си движения, докато съставят програма за деня си, общността (включена OpenAI) очакваше дългосрочното планиране да изисква алгоритми, които поотделно обработват краткосрочни и дългосрочни планове – може би чрез йерархично обучение за подсилване на пробив. Но въпреки много простия си основен алгоритъм, OpenAI Five научава стратегии на професионално ниво от нулата – без да има предоставени човешки данни.

Материалът DOTA – перфектната среда за развитие на алгоритми е публикуван за пръв път на Икономически живот.

Интересното при изкуствения интелект, както, всъщност и при естествения е, че ние не знаем как точно работи. Знаем много за работата на отделни неврони, примерно активационен потенциал или взаимодействия между група неврони, но не знаем почти нищо за работата на мозъка, освен може би, че невроните, които си комуникират, извършват много сложна работа. Но никой не може да обясни феномени като въображението или дори мисълта.

При изкуствения интелект ситуацията е подобна. Ние знаем как да изчислим най-вероятно предположение и как алгоритъмът се развива чрез генетични алгоритми, но не можем да разберем как точно този алгоритъм взима решения.

В тази статия ще се опитам да ви обясня как работи един стандартен изкуствен интелект, без да навлизам в математически подробности.

Първоначално програмистът създава два алгоритъма. Единият от тях конфигурира „алгоритъмчета“ (в началото на случаен принцип), а другият ги тества.

Този който създава, първоначално взима различни аспекти от задачата и ги свързва по случаен начин и с различна сила при всеки един от новосъздадените подалгоритми. Те са много слаби в изпълняването на своята задача, тъй като са случайни. Там се намесва тестовият алгоритъм, който има задачата, примерно, да раздели картинки на коне от картинки на кучета и решението – база от данни с картинки на коне и кучета. Той дава тези картинки на подалгоритмите и ги оценява, като несъмнено някои от тях се справят, макар и малко, по-добре от другите. Те биват запазени, част от другите изтрити, а изпраните се изпращат на конструиращия алгоритъм, който вече е малко по-опитен, тъй като вижда кои алгоритми са се справили добре със задачите си.

Конструиращият алгоритъм взима тази информация и строи подобни на успелите алгоритми, като леко променя случайните връзки между информация и интерпретация при тях и тежестта на някои информации. После ги изпраща на тестовия алгоритъм. Разбира се, някои от извършените промени са грешни и новите представители се справят по-зле от предишните. Други промени обаче са позитивни и това довежда до алгоритми, които надминават предшествениците си. Те биват запазени, отново умножени и оценени.

Постепенно добрите стават все по-добри, „състезанието“ тежко, което подобрява точността на бъдещите алгоритми, тъй като, ако не искат да бъдат изтрити, трябва да се справят не просото добре, а блестящо със задачите си.

По този начин можем да построим алгоритъм, който да надминава дори някои хора, но само в една определена дейност. Самите ние не знаем как точно работи, но го прави. След множество грешки създателят е „построил“ перфектния екземпляр, въпреки че не знае какъв е той, а учителят го е обучил, без да преподава.

Може би си мислите, че ще дойде време, когато ерата на човешкото общество ще приключи и ще бъдем изместени от алгоритми. Трябва да знаем обаче, че алгоритъмът е добър единствено в това, което е научен да прави. Логиката, по която съществува не може да се сравнява с креативността на човека, дори да е по-добър от него в това, което е научен.

Въпросите разбира се продължават. Дали с достатъчно алгоритми няма да може да създадем супер-алгоритъм с всички способности на човека, а дори и повече?

Не знаем! Но за момента изкуственият интелект е вече тук, постига ежедневно успехи и със сигурност ще остане.

Материалът Запознайте се – AI е вече тук и няма намерения да си тръгва е публикуван за пръв път на Икономически живот.