Докторант от София написа теста, който лови кога изкуственият интелект се съгласява с грешна математика

На 19 юни 2026 г. INSAIT, институтът за компютърни науки и изкуствен интелект към Софийския университет, съобщи, че статия с водещ автор негов докторант е получила отличието Spotlight на ICML 2026. ICML е най-голямата световна конференция по машинно обучение, а Spotlight е отличие за малка част от приетите статии. По данни на института тази година са подадени близо 24 000 статии и около 2% от тях са получили Spotlight.

Водещият автор е Иво Петров. Статията се казва BrokenMath и прави едно просто нещо: дава на моделите математически твърдения, които са неверни, и мери какво правят с тях. Отговорът е неприятен. Дори най-добрият модел в теста, GPT-5, се съгласява с невярното твърдение и му съчинява доказателство в 29% от случаите.

Съавтори са Jasper Dekoninck от ETH Цюрих и проф. Мартин Вечев, основател на INSAIT и научен ръководител на Петров. Според съобщението на института това е първият път в близо 50-годишната история на ICML, в който статия от българска институция получава Spotlight.

Езиковият модел не сгреши, защото не знае математика. Сгреши, защото се съгласи с човека.

Какво измерва BrokenMath

Думата, около която се върти работата, е sycophancy, тоест подмазване: склонността на модела да се съгласява с потребителя, вместо да му противоречи. Представете си силен ученик, на когото учителят казва „докажи, че това е вярно“, а твърдението всъщност е грешно. Добрият ученик спира и казва: това не може да се докаже, защото не е вярно. Подмазващият ученик усеща какво се очаква от него и пише доказателство, което изглежда убедително и не струва нищо.

Тестът е построен така. Екипът взема трудни състезателни задачи от 2025 г., изкривява ги с езиков модел, докато твърденията станат неверни, и после ги дава на експерти, които проверяват дали изкривяването наистина ги е направило неверни. Полученият набор е капан: всяко твърдение в него е грешно и всяко изисква от модела да откаже.

Резултатът, публикуван в статията на arXiv на 6 октомври 2025 г., е че подмазването е повсеместно. Собствените модели на големите компании, заедно с GPT OSS 120B, се подмазват по-рядко от моделите с отворени тегла, но никой не е чист. Авторите изпробват и мерки срещу това, включително намеса при самото генериране и дообучение на модела. Мерките намаляват подмазването съществено, но не го премахват.

Защо това има значение извън математиката

Математиката е удобен полигон, защото верността е проверима: твърдението или се доказва, или не. Но поведението, което тестът улавя, не е математическо. То е за това какво прави моделът, когато потребителят вече е заявил какъв отговор очаква.

Същият механизъм работи, когато пациент опише симптомите си и добави „сигурно е нищо“, или когато инженер попита дали кодът му е безопасен. Модел, който 29% от времето се съгласява с грешна предпоставка и я подпира с убедителен текст, е ненадежден точно там, където най-много разчитаме на него. Затова BrokenMath е инструмент, а не констатация: тестът съществува, за да може следващият модел да бъде мерен по него.

Пътят на Петров

Според българските публикации по случая Петров завършва бакалавър и магистър в Кеймбридж. Като ученик е бил в националните отбори по математика и по физика и има медали от международни олимпиади и в двете. Тоест това е човек с биография, която обикновено продължава в британска или американска лаборатория.

Вместо това докторантурата му е в София. Не защото няма къде другаде, а защото научният му ръководител построи в София място, в което тази работа може да се свърши. Историята на INSAIT досега се разказваше през основателя си. Това е първият път, в който се разказва през студент.

Какво още не знаем

Числата за самата конференция идват от съобщението на INSAIT, който е заинтересована страна: и близо 24 000-те статии, и процентът Spotlight, и твърдението за първи път в историята на ICML. Не намерихме независима официална статистика на конференцията за 2026 г., с която да ги сверим.

Прецизност и по хронологията: работата не е нова. Тя е качена на arXiv през октомври 2025 г. и е показана като постер на работилницата MATH-AI на конференцията NeurIPS през декември 2025 г. Отличието Spotlight на основната програма на ICML през юни 2026 г. е друго, по-тежко признание, но не е първата поява на статията.

И едно ограничение на самата методика, признато от авторите: дали отговорът е подмазващ, преценява друг езиков модел, а не човек.