Как работи изкуственият интелект

Изкуственият интелект вече е навсякъде около нас. Подсказва думата, преди да сме я написали. Разпознава лице на снимка за части от секундата. Превежда между езици, препоръчва филм, кара кола да спре сама. Отговаря на въпрос така, сякаш насреща седи човек. И въпреки че го докосваме десетки пъти на ден, за повечето хора онова, което се случва вътре, си остава пълна загадка.

Тази статия е дълга нарочно. Целта ѝ не е да впечатли с термини, а да остави у теб истинска, трайна представа как работи технологията, която ще оформи следващото десетилетие. Няма да има формули. Ще има примери, аналогии и картинки. Ако стигнеш до края, черната кутия ще е спряла да бъде черна.

Ще тръгнем от една-единствена идея, която обръща всичко: машина, която се учи от примери, вместо да следва правила. После ще влезем вътре в невронната мрежа, ще видим как тя се обучава, как от разпознаване на котки се стига до ChatGPT, защо понякога греши уверено и какво всъщност не е изкуственият интелект. Накрая има кратък речник, към който можеш да се връщаш.

Класическият компютър прави точно каквото му кажеш. Изкуственият интелект прави каквото е видял досега.

От правила към примери

За да разберем кое е новото, трябва да видим кое беше старото. Десетилетия наред почти целият софтуер по света работеше по един и същи начин: човек написва правила, машината ги изпълнява буквално. Ако сумата в кошницата е над сто лева, начисли отстъпка. Ако полето за имейл е празно, покажи грешка. Ако е петък след пет, пусни резервното копие.

Този подход е прецизен, предвидим и невероятно полезен. На него стъпват банковите системи, счетоводството, електронните магазини. Но той има една твърда граница: работи само за задачи, които можем да опишем с думи. А светът е пълен със задачи, които вършим уверено, без да можем да ги обясним.

Задачата, която събори правилата

Ето един пример, който изглежда детински прост. Как да напишеш правило, което разпознава котка на снимка? Започваш уверено: има уши, мустаци, четири крака, козина, опашка. После се сещаш, че същото важи за куче, за лисица, за рис. Добавяш „остри уши“, но някои котки са клепнали. „Мустаци“, но те не се виждат под всеки ъгъл. Опитваш да опишеш формата и се удавяш в изключения: котка, свита на кълбо, котка в гръб, котка на тъмно, коте играчка.

След няколкостотин правила системата още бърка. Проблемът не е в усърдието. Проблемът е, че разпознаването на котка не живее в думи. Ти го правиш за части от секундата, но не по списък с признаци, а по натрупан опит от хилядите котки, които си виждал през живота си. И точно тук се ражда другият подход.

Обрат: показваш, вместо да описваш

Вместо да пишем правила, обръщаме задачата наопаки. Даваме на системата хиляди снимки, на които има котка, и хиляди, на които няма, като всяка е обозначена с верния отговор. Не ѝ казваме на какво да гледа. Не споменаваме нито уши, нито мустаци. Оставяме я сама да открие кое отличава едните снимки от другите.

Това е сърцевината на онова, което наричаме машинно самообучение. Машината не получава правилата наготово, а ги извлича сама от примерите. И понеже ги извлича от данни, а не от нашите думи, тя улавя тънкости, които ние дори не бихме се сетили да опишем.

Забележи какво се случи. Правилата не изчезнаха, просто вече не ги пишем ние. Машината ги записва сама, но не като изречения, а като числа. Милиони малки числа, които заедно кодират „как изглежда котка“. Следващият въпрос е естествен: къде живеят тези числа и как изобщо се превръщат в разпознаване? Отговорът се нарича невронна мрежа.

Невронната мрежа отвътре

Инструментът, който прави ученето от примери възможно, се нарича невронна мрежа. Името идва от бегла прилика с мозъка, тъй като истинските неврони също се свързват в мрежи, но за да я разберем, е по-полезно да оставим биологията настрана. Мисли за невронната мрежа просто като за много слоеве от съвсем малки решения, наредени едно след друго.

Най-малката част: неврон и тегло

Най-дребната тухла е изкуственият неврон. Той не прави нищо мистично: получава няколко числа, дава на всяко от тях по-голяма или по-малка тежест, събира ги и ако сборът е достатъчно голям, се „запалва“ и подава сигнал нататък. Толкова. Цялата сложност на изкуствения интелект е изградена от милиони такива дребни, почти елементарни решения.

Тежестите са ключът. Представи си неврон, чиято работа е да усеща мустаци. Той получава сигнали от няколко точки на снимката. На точките, където мустак е вероятен, дава голяма тежест; на останалите - малка. Ако достатъчно от важните точки светнат, невронът се запалва и казва на следващия слой: „тук май има мустак“. Друг неврон пък събира изходите на детектора за мустаци, за уши и за очи и се запалва само когато трите присъстват заедно, тоест когато вижда котешка муцуна.

Защо са нужни много слоеве

Един слой неврони не стига за трудна задача. Силата идва от подреждането им в редица слоеве, всеки надграждащ предишния. Първите слоеве виждат само най-простото: ръбове, петна, контрасти между светло и тъмно. Средните слоеве комбинират ръбовете в части - око, ухо, връх на нос. Последните слоеве сглобяват частите в цяло и произнасят присъдата: това е котка, с деветдесет и седем процента увереност.

Точно тази многослойност е причината подходът да се нарича „дълбоко“ обучение. Дълбочината позволява прости елементи да се съчетават във все по-сложни понятия, без някой да е програмирал изрично нито едно от тях. Мрежата сама решава кои ръбове са важни, кои части да търси и как да ги свърже.

Нека проследим една снимка. Пикселите влизат отляво като хиляди числа за яркост и цвят. Първият слой ги смила до карта на ръбовете. Вторият открива извивки и ъгли. Третият вече долавя нещо като заострено ухо и симетрични очи. Слой по слой суровата купчина пиксели се превръща в структура, а на изхода остава едно-единствено число: вероятността това да е котка.

• Вход: суровите данни, например пикселите на снимката.
• Скрити слоеве: тук се случва разпознаването, стъпка по стъпка, от ръбове през части към цяло.
• Тегла: числата, които определят кое колко тежи при всяко решение.
• Изход: отговорът, най-често като вероятност, а не като категорично „да“ или „не“.

Как една мрежа се обучава

Дотук описахме готова, обучена мрежа. Но в началото тя не знае нищо. Всичките ѝ милиони тегла са зададени случайно, а отговорите ѝ са толкова точни, колкото хвърляне на монета. Обучението е дългият процес, който превръща този пълен хаос в умение. И най-хубавото е, че то се свежда до едно действие, повторено безброй пъти.

Първо: измерваме колко грешим

Показваме на мрежата снимка, за която знаем отговора, да речем котка. Тя прави своето предположение: „куче, с шейсет процента“. Явно греши. Сравняваме предположението с верния отговор и превръщаме разминаването в едно число, което казва колко зле се е представила. Колкото по-голямо е числото, толкова по-далеч е от истината. То е като играта „топло-студено“: не подсказва правилния отговор, а само в каква посока да се движим.

После: спускаме се по хълма в мъгла

Сега идва красивата част. Представи си, че стойността на грешката е височина на терен, а всяко тегло е посока, в която можеш да пристъпиш. Целта ти е да слезеш в най-ниската долина, където грешката е най-малка. Проблемът е, че си в гъста мъгла и не виждаш накъде е ниското. Какво правиш? Опипваш наклона под краката си и правиш една малка крачка надолу. После пак. И пак.

Точно това прави мрежата. За всеки пример тя пресмята в каква посока да промени всяко от милионите си тегла, така че грешката да намалее мъничко, и ги побутва натам със съвсем малка стъпка. Един такъв тласък почти не се усеща. Но повторен върху милиони примери и милиони пъти, той бавно смъква грешката все по-надолу, докато мрежата започне да отговаря вярно. Механизмът, който разпределя вината между всички тегла, се нарича обратно разпространение.

Тази обиколка през примерите се повтаря отново и отново, понякога десетки пъти. Всяко минаване приближава мрежата мъничко до целта. Никой не ѝ казва „търси мустаци“. Тя сама открива кои тегла да засили и кои да заглуши, защото само тази комбинация намалява грешката ѝ.

Затова казваме, че моделите се обучават, а не се пишат. Уменията им идват от примерите и от милионите поправки, не от нашите инструкции.

От разпознаване към език: трансформърът

Дотук говорихме за снимки, но същата идея работи и с текст, и точно текстът роди сегашната вълна. През 2017 г. изследователи от Google представят нова архитектура на невронна мрежа, наречена трансформър. Тя се оказва изключително добра в езика и застава в основата на моделите като ChatGPT. Буквата „T“ в GPT идва именно оттам, от Transformer.

Езикът е коварен, защото смисълът зависи от контекста и от реда на думите. „Отидох до банката“ означава едно на реката и съвсем друго в града. За да разбере коя е коя, моделът трябва някак да свърже думата „банка“ с останалите думи в изречението. Точно това умение е големият пробив на трансформъра и се нарича внимание.

Внимание: кое е важно в изречението

Механизмът на вниманието позволява на модела, докато обработва всяка дума, да „поглежда“ към всички останали и да преценява кои от тях са важни точно сега. В изречението „Мария остави чадъра си, защото беше мокър“ думата „мокър“ се отнася за чадъра, не за Мария. Човек го разбира без усилие. Моделът стига до същото, като насочва силно внимание от „мокър“ обратно към „чадъра“ и слабо към всичко останало. Така всяка дума се разчита в светлината на онези, които наистина имат значение за нея.

Играта на отгатване на следващата дума

Върху тази основа задачата на езиковия модел е обезоръжаващо проста за описване: като види откъс текст, да предскаже кой токен е най-вероятен след него. Виждаш „Небето е ясно и...“, а моделът пресмята вероятности за продължението: „синьо“ е много вероятно, „звездно“ е възможно, „сърдито“ е малко вероятно. После избира, добавя избрания токен към текста и повтаря упражнението отначало.

Предскажи, добави, предскажи пак. Повторено достатъчно пъти, това ражда цели изречения, абзаци, разсъждения, дори програмен код. Изумителното е, че за да отгатва добре следващата дума върху почти целия писан човешки текст, моделът е бил принуден да усвои страшно много: граматика, факти за света, стил, ходове на мисълта, как звучи отговор на въпрос. Способности, на които никой не го е учил изрично, се появяват като страничен продукт от една-единствена цел.

Тук се крие и една важна тънкост. Моделът не търси истината. Търси най-правдоподобното продължение. През повечето време правдоподобното съвпада с вярното, защото хората в текстовете си пишат предимно верни неща. Но не винаги, и на това ще се върнем.

Как моделът научава толкова много

Един въпрос виси във въздуха: щом моделът само отгатва следващата дума, откъде идват знанията и учтивостта му? Отговорът е, че големите модели се създават на два много различни етапа и всеки дава по нещо съвсем различно.

Първи етап: да прочетеш интернет

Първо идва предварителното обучение. Моделът поглъща огромно количество текст - книги, статии, форуми, програмен код, значителна част от публично достъпното в мрежата - и върху всичко това тренира единствено играта на отгатване на следващия токен. Никой не му подава факти като на изпит. Той просто чете невъобразими обеми и в процеса усвоява образците на езика и на света зад него.

След този етап моделът знае смайващо много, но е суров. Той е блестящ довършвач на текст, а не събеседник. Ако го попиташ нещо, току-виж не отговорил, а продължил въпроса ти с още въпроси, защото точно това често следва в текстовете, които е чел. Знанието е там, но не е насочено към това да ти бъде полезно.

Втори етап: да станеш полезен събеседник

Затова идва вторият етап, фината настройка. Показват на модела много примери за добро поведение: ето въпрос, ето какъв е полезният, честен и безопасен отговор. После се прилага и обучение с човешка обратна връзка, познато със съкращението RLHF. Хора четат различни отговори на модела и посочват кой е по-добър; тези оценки се превръщат в сигнал, който го донастройва да предпочита полезните, верни и любезни отговори. Суровият предсказвач на думи се превръща в асистента, който познаваме.

Разликата между двата етапа обяснява много от поведението на моделите. Широчината на знанието идва от първия етап, от четенето. Учтивостта, следването на инструкции и отказът да върши вредни неща идват от втория. Един и същ основен модел може да бъде донастроен като помощник за програмиране, като редактор или като събеседник, без да се обучава наново от нулата.

Защо понякога греши

Ако си използвал такъв инструмент, сигурно си го хващал да бърка. Разбирането как работи прави грешките му очаквани, а не изненадващи, и подсказва кога да внимаваме. Три причини заслужават внимание.

Халюцинации

Когато езиков модел изкаже с пълна увереност нещо невярно - измислен цитат, несъществуваща книга, сбъркана дата, - това наричаме халюцинация. Не е лъжа, защото няма умисъл, и не е повреда. То е пряко следствие от механизма: моделът сглобява правдоподобно звучащ текст, а не проверява твърдения в база данни. Когато не „знае“, той не замълчава, а допълва с най-вероятното на вид продължение, което понякога е измислица с уверен тон.

Пристрастия от данните

Моделът се учи от текст, писан от хора, а хорският текст носи и предразсъдъци, стереотипи и слепи петна. Каквото преобладава в данните, натежава и в модела. Затова той може несъзнателно да възпроизвежда несправедливи допускания - не защото „мисли“ така, а защото ги е виждал често. Създателите полагат усилия да смекчат това, но напълно неутрален модел, обучен върху човешки текст, просто не съществува.

Няма разбиране, няма източник

Струва си да се каже направо: моделът няма разбиране в човешкия смисъл и няма представа за света отвъд образците на думите. При това не помни откъде е научил нещо. За разлика от човек, който може да каже „прочетох го там“, моделът е разтворил всичко в теглата си и не може да посочи източник. Затова и уверен тон при него не значи нищо за верността - гладкото изречение му е лесно, точността е трудна.

• Използвай тези инструменти за чернова, идея, първа стъпка и обобщение.
• За важните твърдения - имена, числа, дати, цитати - проверявай при надежден източник.
• Помни, че силата им е в скоростта и обхвата, а не в непогрешимостта.

Какво не е изкуственият интелект

Около темата се насъбраха толкова метафори, че си струва да разчистим няколко. Днешният изкуствен интелект не е съзнание. Той не изпитва, не желае и не разбира в смисъла, в който ние разбираме. Когато звучи човечно, това е защото е моделирал човешкия език извънредно добре, а не защото зад думите има преживяване.

Не е и магия, нито всезнаеща база данни. Не „търси истината“ и не пази картотека с факти, а произвежда правдоподобен текст върху наученото. Не е и калкулатор, който е винаги прав; по-близка е аналогията с изключително начетен, бърз, но понякога прекалено самоуверен събеседник, когото трябва да проверяваш.

И най-важното: не е неутрален оракул, застанал над нас. Той е инструмент, оформен от данните, от избора на своите създатели и от начина, по който го използваме. Точно затова разбирането как работи не е академичен лукс, а форма на контрол.

Отвъд текста: същите идеи, други сетива

Досега говорихме за котки и за думи, но силата на идеята е точно в това, че тя не е обвързана с нито едно от двете. Учене от примери, слоеве, тегла, обучение чрез намаляване на грешката - този рецепт работи навсякъде, където има достатъчно данни и ясна цел. Ето защо един и същ подход стои зад толкова различни на пръв поглед неща.

Генериране на изображения. Показваш на модела милиони двойки картинка и описание, и той научава връзката между думи и пиксели в двете посоки. После, като му дадеш само описание, той тръгва от шум и стъпка по стъпка го оформя в изображение, което пасва на думите. Същата логика на образци, само че между текст и картина.

Разпознаване на реч и превод. Тук примерите са аудиозаписи с техните текстове или изречения с преводите им. Моделът улавя образците, които свързват звук с дума и език с език, и започва да превежда живо, включително неща, които не е виждал дословно.

Наука. Един от най-красивите примери е сгъването на белтъците. Дълго време да предскажеш триизмерната форма на един белтък по неговата последователност беше задача за години лабораторна работа. Модел, обучен върху известните структури, се научи да я предсказва за минути и отвори врата към разбирането на болести и създаването на лекарства. Тук изкуственият интелект не забавлява, а придвижва истинска наука напред.

Управление и препоръки. Колата, която сама спира, разчита пешеходец от камерите по същия слоест начин, по който разпознавахме котка. Системите, които препоръчват песен или филм, търсят образци в поведението на милиони хора. Различни сетива, различни данни, един и същ двигател отдолу.

Кратка история на един бавен, после внезапен пробив

Изкуственият интелект изглежда като новина от последните три години, но идеята е стара почти колкото самите компютри. Още през петдесетте години учените описват първите изкуствени неврони и мечтаят за машини, които се учат сами. Дълго време обаче мечтата изпреварва възможностите.

Следват десетилетия на надежди и разочарования. Два пъти интересът пламва и после угасва - периоди, които в областта наричат „зими“ на изкуствения интелект. През повечето време надмощие държи старият подход: системи от ръчно написани правила, които вършат работа в тесни задачи, но се пропукват в реалния, разхвърлян свят.

Какво се промени

Около 2012 г. три неща най-сетне се подредиха едновременно. Първо, интернет създаде огромни количества данни, върху които да се учи. Второ, видеокартите, създадени за компютърни игри, се оказаха идеални за милиардите сметки на невронните мрежи и направиха обучението постижимо. Трето, методите узряха. В едно състезание по разпознаване на изображения дълбока невронна мрежа помете конкуренцията и светът разбра, че старата идея най-после проработва.

Оттам нататък събитията се ускоряват. През 2017 г. идва трансформърът. Скоро след това се появява изненадваща закономерност: колкото по-голям е моделът и колкото повече данни и изчисления получи, толкова по-добър става, при това без таван, който да се вижда. Тази проста рецепта - направи го по-голямо - донесе резултати, които изненадаха дори създателите си.

И тогава, в края на 2022 г., идва моментът, в който всичко това напусна лабораторията. Един разговорен модел, достъпен с обикновен браузър и роден език, за седмици стигна до милиони хора. Не защото беше принципно нов отвътре, а защото за пръв път всеки можеше просто да го използва. Бавният пробив изведнъж стана всекидневие.

Как да го използваш добре

Ето къде разбирането на механизма се изплаща в практика. Щом знаеш, че моделът е блестящ в образците и слаб в проверката на факти, вече знаеш и как да го впрегнеш: остави го да върши това, в което е силен, и поемай ти контрола там, където той е ненадежден.

За какво е силен

Моделите блестят навсякъде, където важен е образецът, а не абсолютната точност на всеки детайл. Първи чернови и структури. Обобщения на дълъг текст. Преформулиране от официално към просто и обратно. Идеи и мозъчна атака, когато ти трябва количество, за да избереш качество. Превод и обяснение на непознати понятия. Помощ при писане на програмен код. Във всичко това те спестяват най-скъпото - тръгването от празен лист.

Къде да внимаваш

И обратно, дръж юздите здраво там, където цената на грешката е висока или където се иска точност. Конкретни факти, имена, числа и дати. Съвсем свежи събития, които може да са отпосле спрямо данните на модела. Смятане и броене, в които той е изненадващо несигурен. И всичко високорисково - правно, медицинско, финансово, - където един уверен, но грешен отговор струва скъпо. В тези случаи моделът е добра отправна точка, но никога последната дума.

Как да питаш по-добре

Понеже моделът разчита на контекст, колкото по-добър контекст му дадеш, толкова по-добър отговор получаваш. Кажи кой си, за кого е текстът и каква е целта. Дай пример за това, което искаш, вместо само да го описваш. Постави ясни рамки: дължина, тон, формат. И не приемай първия отговор за окончателен - доуточнявай, поправяй, искай друг вариант. Разговорът с модела е итерация, не поръчка на гише.

По-голямата картина

Отстъпи една крачка и ще видиш ясна линия. За няколко години изкуственият интелект премина от лабораторна любопитност до всекидневен помощник в милиони ръце. И все пак под целия шум стои една проста идея, която проследихме от начало до край: система, която се учи от примери вместо от правила, изградена от милиони мънички решения, обучена чрез милиони мънички поправки, а при езика - водена от вниманието и от играта на отгатване на следващата дума.

Най-подценяваната част от тази вълна не е, че моделите стават по-големи, а че стават по-достъпни. Инструменти, които допреди няколко години изискваха цели изследователски екипи, днес се побират в един разговор на роден език. Лекар в малка болница, учител в село, дребен предприемач - всички получават достъп до способности, запазени доскоро за малцина. Тъкмо тази достъпност, а не самата технология, ще преобрази най-много всекидневието.

Но достъпният инструмент носи и отговорността да го разбираш. Разликата между това да го използваш сляпо и да го използваш умно е именно в разбирането: да усещаш кога да му се довериш и кога да го провериш, кога блести и кога халюцинира. А това разбиране е и най-добрата основа за спокоен, а не наивен оптимизъм към технологията, която ще оформи следващото десетилетие. Черната кутия се оказа обяснима. Оттук нататък въпросът не е какво може тя, а какво ще изберем да правим с нея.

Речник на термините

• Машинно самообучение: подход, при който системата извлича правила сама от примери, вместо да ги получава написани от човек.
• Невронна мрежа: модел от много слоеве прости „неврони“, всеки от които претегля входовете си и подава сигнал нататък.
• Параметър (тегло): число вътре в мрежата, което усилва или заглушава даден сигнал; съвкупността от всички параметри е това, което моделът научава.
• Обучение: настройването на теглата чрез милиони малки поправки, така че грешката да намалява.
• Функция на грешката (loss): мярка колко далеч е отговорът на модела от верния; целта на обучението е тя да е минимална.
• Трансформър: архитектурата от 2017 г., която стои в основата на съвременните езикови модели.
• Токен: парче от дума; моделите обработват и предсказват текст на токени, не на цели думи.
• Внимание (attention): механизъм, който позволява на модела да преценява кои други думи са важни за смисъла на текущата.
• Предварително обучение: първият етап, в който моделът се учи от огромни обеми текст чрез отгатване на следващия токен.
• RLHF: обучение с човешка обратна връзка; вторият етап, който насочва модела към полезни, верни и безопасни отговори.
• Халюцинация: уверено, но невярно твърдение - страничен ефект от това, че моделът търси правдоподобното, не истинното.