Тази седмица OpenAI публикува над 700 генерирани от AI решения на нерешени математически проблеми, а водещи математици заявяват, че работата все още не отговаря на стандартите в областта. На 6 октомври компанията качи 722 ръкописа в GitHub, групирани в 372 семейства от резултати, произведени от вътрешен модел, който тя не е пуснала публично. Малко от тях показват своите разсъждения, а повечето никога не са били официално проверени.
Моментът е от значение. Седмици по-рано независима консултативна група към Института за напреднали изследвания в Принстън публикува препоръки за това как AI лабораториите трябва да представят математически резултати. OpenAI помогна за създаването на тази група. Въпреки това публикуването изглежда нарушава първото ѝ искане: да се спре тестването на трудни нерешени проблеми с патентовани, непубликувани модели. Собствената документация на OpenAI показва, че тя е направила точно това.
Мащабът на твърденията е голям. Ръкописите, извлечени от извадка от около 4000 нерешени проблема, включват опити за известни цели: по-слаба версия на хипотезата на Риман, хипотезата за уникалните игри (Unique Games Conjecture) и хипотезата на Ходж за определен клас форми. Всяко решение е отнело на модела средно около три часа изчислително време. От OpenAI казват, че първо са се консултирали с известни математици с надеждата да избегнат повторение на предишен спор за твърдян резултат относно уравненията на Навие-Стокс.
Разминаването между твърдение и доказателство е мястото, където научната общност възразява. Според изчисления на TechCrunch само 10 от ръкописите включват веригата от разсъждения на модела, а 42% са проверени в Lean — език, който проверява доказателства ред по ред. Това оставя почти всички от тях без разсъжденията на модела, които човек да може да проследи, и значителен дял без машинна проверка. Поне три вече бяха оттеглени поради грешки. Доклад от изследователи от Кеймбридж и King's College London установи, че доказателствата на обикновен език на OpenAI и техните преводи на Lean не винаги съвпадат, което хвърля съмнение върху това дали един модел може сам да формализира своята работа.
„Когато на един модел се подаде промпт да реши труден проблем и той генерира решение, към момента на публикуването му липсва каквото и да е човешко разбиране за него“, заяви пред TechCrunch Мелани Мачет Ууд (Melanie Matchett Wood), професор по математика в Харвард и член на консултативната група. Терънс Тао (Terence Tao), математик от UCLA, който обяви създаването на групата, предупреди, че „проблемите се решават автономно от хора, подаващи промптове на AI, които нямат интерес към по-широката научна област“. Джеймс Мейнард (James Maynard), математик от Оксфорд, каза пред NPR, че „досега е било изключително трудно наистина да се извлече каквото и да е човешко разбиране от тези нови доказателства на AI“.
Не всички са обезпокоени. „Моето мнение е, че това е страхотно за математиката“, казва пред Fortune Дан Лит (Dan Litt), професор по математика в Университета в Торонто. Общността е разделена, а не единна в отхвърлянето.
Отвъд спора за бройките и проверките стои по-дълбок въпрос за това за какво служи едно доказателство. Доказателството е аргумент, който един математик пише, за да може друг да го проследи и да разбере защо нещо е вярно. Плътен и сгъстен резултат, който никой човек не може да анализира, нарушава тази цел, дори ако компютър потвърди логиката. Консултативната група определя теста като социален, а не технически, заявявайки, че „в крайна сметка от математическата общност зависи да оцени доколко нашите препоръки са били следвани успешно“.
Тази присъда ще отнеме месеци. Математиците, а не OpenAI, ще решат кои от 722-те файла издържат, а компанията е обещала да финансира работни срещи, за да могат външни специалисти да ги проучат. Дотогава гръмките резултати остават непотвърдени. Истинският двубой сега не е толкова за това дали машините могат да решават трудни проблеми, колкото дали научната област ще приеме отговори, които все още не може да разбере.
