Иван Ямщиков известен русскоязычному читателю как автор проекта «Нейронная оборона» — относительно раннего (2016 год) примера успешного со-творчества людей и генеративных нейросетей. Тогда Иван был сотрудником «Яндекса», после занимал должность ИИ-евангелиста компании ABBYY, а сегодня он — профессор, преподаватель и руководитель целого ИИ-института в Баварии. Сам себя он определяет как «радикальный технооптимист». В интервью «Системному Блоку» Иван Ямщиков рассказал о том, почему LLM пришли к успеху, как обучают большие модели сегодня, к чему может привести внедрение ИИ в ближайшие годы, как придется перестраивать образование и что стоит изучать в первую очередь, чтобы оставаться актуальным в будущем.
«ChatGPT не была сюрпризом»: что предопределило успех больших языковых моделей
В 2016 году мы с Алексеем Тихоновым сделали «Нейронную оборону» — проект, в котором мы генерировали стихи, стилизованные под поэзию Егора Летова. Примерно тогда мне стало понятно, что появятся большие трансформеры, которые будут хорошо работать. В 2017-м мы собирали деньги на что-то вроде OpenAI, но, в отличие от основателей OpenAI, не смогли его запустить. На тот момент капитальные вложения, чтобы обучить модель нужного размера, составляли миллионы долларов, не говоря уже о стоимости талантов и прочих затратах. Мы этого не сделали, но мы понимали, что это будет сделано в ближайшее время. Поэтому и ChatGPT в 2022-м не стала сюрпризом.
Был такой лингвист Джон Руперт Ферс, который популяризовал тезис «you shall know the word by the company it keeps» (то есть «значение слова следует из контекстов употребления» — прим. СБъ.). И современная языковая модель — триумф этой парадигмы. Ферс — и Андрей Марков (старший) с цепями Маркова (предсказывающими вероятность следующего слова по предыдущим — прим. СБъ) , только сто лет спустя и на нейросетях. Большой прорыв в обучении LLM был связан с их масштабированием. Сначала было неочевидно, что при увеличении объема данных и объема параметров мы будем получать качество все лучше и лучше. Это было показано раньше релиза ChatGPT, например, в статье про GPT-2.
Но это базовая модель. Она предобучена, но она еще не диалоговый агент. Она умеет продолжать текст, но специфики диалогового агента «из коробки» там нет. А в ChatGPT главное достижение — это reinforcement learning from human feedback (RLHF), когда мы делаем диалогового агента на основании обратной связи от людей, чтобы взаимодействие с диалоговым агентом ощущалось как взаимодействие с какой-то сущностью, похожей на человека. Я на лекциях люблю говорить, что языковые модели — это джинн. Джинн похож на человека, но не человек. Если неправильно попросить у джинна, что тебе нужно, он может неправильно выполнить.
Синтетика и умный претрейн: как обучают большие языковые модели сегодня
Специфика RLHF в том, что он требует большого объема человеческой разметки. Поэтому со временем начали появляться подходы, которые пытаются сделать этот процесс более эффективным. Появилась идея, что можно делать RLHF с использованием других моделей, то есть используя синтетические или полусинтетические данные. Там есть свои сложности, если их неправильно сделать, они могут приводить к ухудшению качества модели, но если сделать правильно — модель будет лучше. Это отдельная большая наука.
Сегодня все крупные коммерческие или open source модели обучаются с добавлением синтетики. То есть мы генерируем много данных моделями для обучения следующих моделей, c некоторым вмешательством людей. Эти пропорции могут очень сильно варьироваться в зависимости от компании и цели обучения.
Все крупные коммерческие или open-source модели обучаются с добавлением синтетики
Вероятность того, что модель «из коробки» что-то умеет, может возрастать от структуры обучающих данных уже на этапе предобучения (претрейна). Идея, что уже на этапе претрейна нужно закладывать какие-то скиллы, была в публичном поле начиная с GPT2. Они предложили то, что называется мета-лернингом (meta-learning). Это когда в процессе предобучения есть разные наборы обучающих данных. В одном наборе нужно заполнять пропуски в арифметических задачах, а в другом — делать переводы с английского на французский. То есть пропущенные слова, которые модель учится восстанавливать, можно структурировать вокруг определенных задач. Люди довольно давно работали в этом направлении.
В моем стартапе Pleias мы недавно выпускали примеры датасетов типа Synth. Мы показали, что можно из реальных данных сделать полусинтетические данные, которые структурированы таким образом, что если на них обучать модель, то она сразу учится очень эффективно. Уже на этапе предобучения в нее можно заложить какие-то навыки.
Помимо этого, есть отдельное большое направление, связанное с появлением маленьких специализированных моделей. Исследования показывают, что если правильно использовать данные для обучения, можно достаточно маленькую модель, не такую требовательную с точки зрения вычислительных мощностей, обучить в определенной доменной области и сделать это тоже довольно эффективно. Это может быть модель размером 7–9 миллиардов параметров, которая работает локально на обычных современных компьютерах. Такую модель можно запустить на своем устройстве хоть на необитаемом острове.
Живите дольше и самореализуйтесь🖖: что выиграет человечество от внедрения ИИ в ближайшие годы
От внедрения и распространения ИИ я жду, в первую очередь, повышения производительности труда. Исторически повышение производительности труда приводило к тому, что люди становились богаче, а когда люди становятся богаче — они начинают лучше жить. Рост производительности труда обычно приводит к росту ВВП на душу населения, что, в свою очередь, улучшает уровень благосостояния, снижает болезни, повышает продолжительность жизни.
Когда люди становятся богаче — они начинают лучше жить
Второй важный момент — самореализация. Искусственный интеллект сильно ее демократизирует. С генеративными моделями ты просто берешь и делаешь. Придумал мультфильм — можешь быть его режиссером. То же самое происходит с кино, компьютерными играми и вообще с искусством: цифровой порог входа резко снижается.
Со временем будут демократизироваться и другие формы самореализации. Хочешь быть скульптором — вот 3D-принтер и генеративная модель: придумал объект, получил 3D-модель, напечатал. В целом снижение порога входа к любым видам деятельности, связанным с самореализацией, обычно действует на человека положительно.
Хочешь быть скульптором — вот 3D-принтер и генеративная модель
Самоактуализация — широкое понятие. Для кого-то она связана с искусством, для кого-то — с бизнесом. И здесь порог входа тоже снизился как никогда. Все ждут эпоху солопренеров (solopreneur, предприниматель, ведущий бизнес «соло», в одиночку — прим. СБъ) , когда один человек сможет построить компанию стоимостью в миллиарды. В какой-то момент такие компании действительно появятся — именно благодаря искусственному интеллекту. С точки зрения самореализации ситуация радикально улучшится.
«Учить радикально иначе»: как правильно внедрить ИИ в образование
Чтобы добиться тех улучшений, которые нам нужны (и с точки зрения самоактуализации, и с точки зрения роста ВВП), искусственный интеллект неизбежно придется внедрять в систему образования. Если сделать это правильно, ситуация улучшится. Если сделать неправильно — станет хуже.
У Джеймса Вайза, одного из основателей венчурного фонда Balderton, есть книга Start-Up Century — «век стартапов». Он пишет о том, что это естественное направление развития общества: доля предпринимателей будет расти. И те общества, которые научатся увеличивать эту долю, будут успешны в XXI веке. Проблема в том, что современная школа этому не учит. Она построена людьми, которые ничего не знают про предпринимательство и часто относятся к нему с подозрением. Шансов реформировать эту систему, мне кажется, почти нет — ее нужно просто строить заново на других принципах.
Систему образования нужно строить заново на других принципах
Мы построили нынешнюю систему образования в XIX веке и до сих пор с ней живем. Но в XXI веке человеку нужна гораздо более высокая агентность. Сегодня один человек может в одиночку делать намного больше, чем раньше. При этом как никогда остро стоят проблемы включенности в общество: социальные связи, коммуникация, одиночество. Учить человека нужно радикально иначе.
С одной стороны, он должен учиться сам — развивать внутреннюю мотивацию и интерес. С другой — уже в школе его нужно встраивать в разные социальные контексты. Мы постоянно играем разные социальные роли, и общество устроено многослойно. Система образования должна помогать ребенку в это общество входить. Ребенок может и должен участвовать в экономической, социальной и даже политической жизни. Современная школа с этим, к сожалению, справляется плохо.
Сейчас почти все хардскиллы (hard skills, конкретные профессиональные или предметные навыки вроде математики или программирования — прим. СБъ) мы учим с помощью учителя, который тратит свое время на их объяснение. Это постепенно заменяется тренажерами и интерактивными обучающими средами с искусственным интеллектом. На мой взгляд, хардскиллы вообще стоит учить через проектную деятельность.
Ребенок строит самолет: как может выглядеть новое образование в эру ИИ
У ребенка очень много внутренней мотивации к учебе — мы просто неправильно ее используем. Особенно это видно в проектном обучении, когда ребенок сам что-то делает. Если ребенок хочет построить самолет — мотивации очень много.
Но система образования не предлагает такого варианта. Если ребенок в шестом классе приходит на физику и говорит: «Я хочу построить самолет, чтобы он возил плюшевого верблюда», ему в лучшем случае ответят: классно, поучишься восемь лет, а потом в институте, может быть, построишь самолет для настоящего верблюда. И это неправильный ответ.
Правильный ответ — другой: отлично, давай строить. С чего начнем? Можно сделать бумажный самолет. Он верблюда не поднимет — почему? Потому что масса, потому что гравитация. Хочешь разобраться, каким должен быть самолет, чтобы поднять верблюда? Тогда сначала взвесь верблюда. Взвесил — считаем, какая нужна подъемная сила крыла. Идем дальше.
Если ребенок хочет построить самолет — мотивации очень много
Если образование устроено так, и рядом есть взрослый, который в нужный момент помогает направить мысль — что спросить у ИИ, куда копать дальше, — все начинает работать. Нужен 3D-принтер — вот 3D-принтер. Нужен сварочный аппарат — вот он, с объяснением и под присмотром. В такой системе дети невероятно замотивированы и работают с полной отдачей.
Ничего не мешает уже сейчас делать такую систему образования. Более того, многие самые успешные школы устроены примерно так: вокруг самомотивации ребенка и развития агентности. Ключевой момент здесь в том, что в XXI веке свобода воли — это критически важная штука. Если она у людей вообще есть, то ее нужно развивать с детства.
В XXI веке свобода воли — это критически важная штука
Искусственный интеллект поможет ребенку с очень многими вещами. Но с поиском собственного пути и с самомотивацией он вряд ли поможет. А значит, развитие агентности и свободы воли — одна из ключевых задач образования. Если мы ее правильно решим, все в целом будет работать.
Если не решим — будет очень плохо. В мире, где ИИ автоматизирует линейный человеческий труд, просто не нужно столько наемных сотрудников. В этом мире любой, кто хочет стать предпринимателем, может им стать — и довольно легко. Но если у человека нет внутреннего драйва что-то делать, пробовать, если он хочет просто работать восемь часов в день за гречку, ему в таком мире будет гораздо сложнее. Таких людей просто не так много нужно, потому что то же самое можно делать лучше — и без гречки.
Именно здесь проходит граница между успешными и неуспешными обществами XXI века. Те, кто выстроит систему образования, адаптированную к этому миру, будут успешны. Те, кто останется со старой системой для рабочих на конвейере, — не будут.
В мире, где ИИ автоматизирует линейный человеческий труд, просто не нужно столько наемных сотрудников
Нынешняя система образования тоже появилась не случайно. Ее придумали для того, чтобы учить людей работать на конвейере. Мы держимся за нее так, будто другой никогда не существовало. Хотя на самом деле разные модели образования были всегда.
В Средние века людей учили не так, как сейчас. В Древней Греции Академия вообще была садом, по которому философы ходили, обсуждали идеи и что-то рисовали на дорожках. Это было элитарное образование, не массовое. Но если растет производительность труда и растет производительность труда учителя, а обучение хардскиллам можно отдать искусственному интеллекту, ничто не мешает сделать элитарное образование массовым — на уровне того, каким оно было столетия назад.
Человек в системе образования должен быть наставником. Он должен погружать ребенка в социальное, политическое и личное. Люди нужны в образовании именно для этого. А умножать — этому ребенка спокойно может учить робот. Человек здесь не нужен.
Человек в системе образования должен быть наставником, который погружает ребенка в социальное, политическое и личное
У меня есть знакомые в Мюнхене — один фаундер из Украины, другой из России. Они готовят немецких школьников к олимпиадам по математике и сделали ИИ-тьютора по математике. Учитель может просто сфотографировать любую страницу учебника, загрузить ее — и дальше ребенок общается с тьютором голосом, письменно или как угодно еще. Тьютор не дает готовых ответов, а подсказывает, как искать решение, и ведет ребенка к нему.
По сути, учитель математики здесь не нужен — более того, часто он только мешает. Он нужен не для объяснений, а для мотивации: чтобы ребенок вообще хотел заниматься с тьютором. Эта мотивация может быть внешней — оценки, одобрение, награда, — а может быть внутренней: мне самому нужно разобраться, потому что я хочу что-то сделать. Например, построить тот самый самолет для плюшевого верблюда.
И именно здесь, мне кажется, проходит критическая граница между успешными и неуспешными обществами.
Новые технологии на «старой» планете: риски от внедрения ИИ
Надо понимать, что любая новая технология создает безработицу. Любая технология, которая облегчает труд, снижает спрос на труд предыдущего типа. Так было всегда: переход к фабричному производству в свое время привел к массовой безработице.
При переходе от одного типа экономики к другому спрос на рабочую силу временно сокращается — до тех пор, пока экономика не адаптируется, не появятся новые профессии и, главное, пока не появятся люди, способные в этих профессиях работать. Поэтому роль образования здесь критическая.
Главный риск сегодня в том, что мы живем на уникально «старой» планете. Пожилых людей много, и их будет только больше. А пожилые люди, в среднем, учатся хуже. Предыдущие технологические кризисы мы проходили относительно легко, потому что у нас было много молодых — с более высокой нейропластичностью. Сейчас с биологической точки зрения нам приходится решать вопрос нейропластичности напрямую. Есть многообещающие результаты: судя по всему, нейропластичность пожилых людей можно повышать медикаментозно, и они смогут лучше учиться.
Судя по всему, нейропластичность пожилых людей можно повышать медикаментозно
Но остается вопрос, как быстро это войдет в страховые программы, как быстро «рескиллинг» станет частью базовых образовательных требований. Совершенно очевидно, что сегодня человек за жизнь делает не одну карьеру, а несколько. Значит, и систему образования нужно перестраивать. Было бы логично, например, давать возможность в 50 лет бесплатно получить второе высшее образование — просто потому, что предыдущие навыки уже устарели и человеку нужна новая карьера.
В конечном счете это политический вопрос: как именно общество решит к этому адаптироваться.
Open source против войны: об угрозе военных конфликтов с участием ИИ
Война начинается тогда, когда одна из сторон считает, что может военным способом добиться желаемого. Как говорил Клаузевиц, война — это продолжение политики другими средствами. И с этой точки зрения главные риски, связанные с искусственным интеллектом, возникают не из-за него самого, а из-за неравномерного распределения компетенций. Если одна сторона конфликта считает, что ИИ дает ей решающее преимущество, вероятность войны возрастает.
Асимметрия компетенций повышает вероятность большой войны гораздо сильнее, чем сам искусственный интеллект. Опасен не ИИ как таковой, а ситуация, когда одна сторона думает, что она лучше другой умеет делать дроны или системы машинного зрения. Риски снижает наличие глобальной исследовательской экосистемы вокруг ИИ. Она позволяет не допускать асимметрии.
Опасно, когда одна сторона думает, что она лучше другой умеет делать дроны или системы машинного зрения
С этой точки зрения open source (публикация моделей в открытом доступе — прим. СБъ) — один из ключевых стабилизирующих факторов. Идеи нераспространения тоже помогают, но гораздо слабее: на уровне стимулов open source работает лучше. При этом разрыв между сильнейшими open source и закрытыми моделями сегодня невелик — от пары месяцев до полугода. Бывали моменты, когда самая сильная модель в мире вообще была open source, пусть и ненадолго.
Если говорить о военных рисках, то в основном они сосредоточены в робототехнике, машинном зрении и дроностроении. И здесь снова важны open source и конкуренция. Военная разработка — всегда двусторонняя история: с одной стороны, милитаризация — это плохо, с другой — она ускоряет технологический прогресс. И если в этом противостоянии удается избежать реальной войны, то мы быстрее получаем качественные технологии, которые потом конвертируются в гражданские применения.
Я очень надеюсь, что искусственный интеллект со временем сведет военное противостояние к экономическому. В ситуации, когда роботы воюют с роботами, можно просто посчитать, кто выигрывает, и не тратить на это человеческие жизни, время и силы. Скорее всего, в XXI веке это еще не произойдет, но как тенденция — рано или поздно это будет реализовано.
ИИ между климатом и киловаттами: экологическая развилка искусственного интеллекта
Есть экологические риски распространения ИИ. Перед нами уже сейчас стоят серьезные экологические и демографические вызовы, и при этом скорость изменений постоянно растет. Когда изменения происходят слишком быстро, приходится принимать более сложные решения и делать это быстрее. Ни то, ни другое не улучшает качество решений.
С одной стороны, искусственный интеллект может здесь сильно помочь. Например, мы, скорее всего, сможем довольно точно моделировать экосистемы и понимать, какие виды критически важны для того, чтобы экосистемы не коллапсировали. Все это делается с помощью анализа данных и ИИ.
С другой стороны, возникают новые проблемы. Растут потребности в электроэнергии, запускается гонка вооружений (внутри области разработки ИИ — прим. СБъ), которая эти потребности еще увеличивает. Если общество пойдет по пути ограничения энергопотребления — потому что больше электроэнергии по тем или иным причинам построить не получается, — оно, скорее всего, будет развивать небольшие модели. И этот путь может оказаться перспективным: маленькие распределенные модели с высоким уровнем приватности — вполне возможное будущее.
Маленькие распределенные модели — вполне возможное будущее
С другой стороны, если наконец получится сделать управляемый термоядерный реактор, чтобы электричества было много, оно было дешевым, безопасным и портативным и чтобы такие установки можно было строить десятками в год. В таком случае общество пойдет по пути экстенсивного развития ИИ: больше моделей, больше вычислений, больше потребления энергии. Это тоже может дать локальное преимущество — за счет более широкого внедрения ИИ в разные сферы.
В связи с экологией добавляются и глобальные риски, связанные с массовыми миграциями из-за изменения климата — они, в свою очередь, меняют геополитический расклад. Сценариев много. Но исторически почти всегда работает одно и то же правило: важно не допускать монополизации и поддерживать конкуренцию. Когда есть конкуренция между компаниями и обществами, в конечном итоге выигрывает потребитель. Когда конкуренции нет, все быстро скатывается в монополию — а это почти всегда плохо.
Парадоксально, но сейчас в этом смысле геополитика нам помогает. Противостояние США и Китая, среди прочего, ведет к бурному развитию open source. Китайские игроки сегодня во многом формируют костяк крупных open-source моделей, предлагая альтернативу закрытым решениям американских компаний.
Почему Иван Ямщиков — «радикальный технооптимист»
Мне кажется, если ты публичный интеллектуал, важно сразу обозначать свои bias-ы (предвзятости — прим. СБъ), чтобы люди понимали, с какой позиции ты говоришь. Мой bias простой: я технооптимист. Я считаю, что технологии в целом приносят больше пользы, чем вреда.
Долгое время я пытался это доказывать. Приводил рациональные аргументы: вот, например, детская смертность — это плохо, правда? А технологии ее снижают. Значит, технологии — это хорошо. И каждый раз начиналось: «все не так однозначно», бесконечные споры и уточнения.
Я понял, что мне стало скучно участвовать в этих дискуссиях, и добавил слово «радикальный». Я просто предлагаю принять как аксиому, что технологии — это хорошо, и дальше разговаривать, исходя из этого. Если эта аксиома не принимается, у нас не получится конструктивного разговора, потому что я не готов ее обсуждать. Объем доказательств того, что технологии улучшают жизнь человека, на мой взгляд, настолько велик, что это утверждение не требует дополнительного обоснования.
Поэтому я и называю себя радикальным технооптимистом. Я не готов обсуждать, хорошие технологии или плохие — для меня они хороши по определению. Если мы готовы принять эту точку отсчета, я с удовольствием буду дальше разговаривать и спорить о деталях. Если нет — значит, просто не получится содержательного диалога.
Я не готов обсуждать, хорошие технологии или плохие — для меня они хороши по определению
При этом не обязательно полностью разделять систему ценностей собеседника, чтобы с ним нормально поговорить. Я, например, могу разговаривать с верующим человеком, принимая его аксиомы в рамках беседы. Но разговор становится бессмысленным, когда один говорит «я верю», а другой все время пытается доказать, что верить не во что. С технологиями для меня ровно так же.
Культурное влияние технопессимистов и скорость прогресса
Кажется, что раньше технологические изменения внедрялись медленнее. Но это очень тонкий вопрос. Мой любимый пример такой: я родился в 1987 году. За мою жизнь мир, конечно, изменился — появились мобильные телефоны, портативные компьютеры, интернет в современном виде. Но если присмотреться, многое из физического мира почти не изменилось.
Машины в целом остались теми же. Дома мы строим примерно так же. Основной двигатель все еще двигатель внутреннего сгорания. Электромобилей стало больше, батареи улучшились, но радикальных прорывов здесь не произошло. Более того, некоторые вещи даже исчезли: сверхзвуковой Конкорд, который позволял пересекать Атлантику за три часа, пропал. Космические шаттлы тоже пропали. Если оглянуться, получается, что за последние десятилетия серьезные изменения происходили почти исключительно в цифровом пространстве.
А теперь представим, что я родился в 1887 году. К 1925-му мир вокруг меня изменился радикально. Появились железные дороги, автомобили, асфальтовые дороги. Люди научились летать — буквально поднялись в воздух. В тот же период происходили и другие сдвиги: газовые фонари сменялись электрическими, появлялись электроприборы, радио, первые формы телевидения.
Темп изменений физического мира сто лет назад был, как минимум, сопоставим с сегодняшним — а возможно, и выше. Если посмотреть на рост производительности труда, она на рубеже XIX–XX веков росла быстрее, чем сейчас. Сегодня этот рост скорее стагнирует, во многом потому, что в физическом мире у нас происходит слишком мало технологических изменений.
Производительность труда на рубеже XIX–XX веков росла быстрее, чем сейчас
Где-то с середины XX века происходит заметный культурный сдвиг. Если в XIX веке и первой половине XX века технооптимизм был дефолтной позицией, то во второй половине XX века начинают активно появляться культурные течения, в которых технологии изображаются как что-то опасное или вредное. Со временем эти идеи получают и политическое влияние. Мне сложно до конца разделить, где здесь культурное влияние технопессимизма, где политическое, а где — реальные технологические ограничения, но стагнация по многим направлениям очевидна.
Когда дети растут в мире, где изобретать новое — это хорошо, где ученые меняют мир к лучшему, они хотят стать учеными. А когда они растут в мире, где ученый в массовой культуре почти всегда злодей, это неизбежно влияет на мотивацию. Если посмотреть на современные фильмы, злодей там очень часто именно ученый. В ранней массовой культуре все было иначе. Айронмен, Халк, даже Бэтмен — это персонажи первой половины XX века, золотой эпохи комиксов, когда ученые еще были «хорошими». Даже если персонаж был внутренне противоречивым, как Бэтмен (который вообще-то наследник «Old money» и богатый капиталист), это было частью сложного образа, а не прямой демонизацией науки.
Если посмотреть на современные фильмы, злодей там очень часто именно ученый
Во второй половине XX века картина меняется. Ученый все чаще становится источником проблемы. Достаточно вспомнить Кубрика и «Доктора Стрейнджлава»: быть таким ученым, мягко говоря, не очень хочется. Это не значит, что все можно объяснить одной линией — история, конечно, не линейна. Но культурные тренды важны. Американская фантастика сильно влияла и на советскую, антиутопия как жанр становится все более доминирующей начиная со второй четверти XX века. Я люблю антиутопии и не считаю их злом. Но важна доля жанра и его доминирование.
Есть и второй заметный тренд — тяга к Средневековью. Фэнтези как жанр, «технологическое Средневековье» вроде «Звездных войн» или «Дюны». Формально технологии есть, но общество при этом феодальное, и идея прогресса как улучшения жизни человека там почти отсутствует. Все чаще появляется представление, что по мере технологического развития качество жизни будет регрессировать. Иногда там не только общество деградирует — иногда и сами технологии стагнируют или распадаются.
Мне кажется, все это влияет на культурный фон и на мотивацию людей. А дальше это начинает иметь вполне материальные последствия. В Европейском союзе, например, всерьез обсуждают и регулируют, сколько мышей можно использовать в биологических экспериментах. С одной стороны, мне тоже жалко мышей. С другой — у меня есть близкие, которые болеют раком, и я бы предпочел иметь лекарство. Приоритеты здесь, мягко говоря, разного веса. И сам факт того, что подобные ограничения сегодня становятся нормой, тоже тормозит развитие технологий.
Этот сдвиг хорошо виден и в литературе. Если взять ранних Стругацких — это почти утопия, вера в прогресс, в будущее. А если сравнить «Стажеров» с «Хищными вещами века», разница бросается в глаза. И это, на мой взгляд, очень точный симптом того, как менялось отношение к технологиям и к будущему в целом.
О работе в ИИ-институте в Германии
Технический университет (высшая школа) прикладных наук Вюрцбург-Швайнфурт (THWS) — это один из самых молодых университетов Баварии. Начиналось все еще в XIX веке как училище при заводе — примерно так же, как, например, ИТМО в Петербурге. Тогда там готовили квалифицированных рабочих, а со временем это выросло в полноценное высшее учебное заведение.
В Германии технические университеты отличаются от университетов классических более плотной связью с индустрией. Здесь нельзя стать профессором, если у тебя нет хотя бы трех лет опыта работы в индустрии. Поэтому мы много занимаемся прикладными вещами и постоянно работаем на стыке науки и практики.
Здесь нельзя стать профессором, если у тебя нет хотя бы трех лет опыта работы в индустрии
Институт CAIRO — это центр исследований искусственного интеллекта в THWS. Сейчас в CAIRO восемь профессоров, и с 2024 года я его возглавляю. Я стараюсь, чтобы институт дальше рос и масштабировался. Год назад у нас было три профессора и около десяти сотрудников, сейчас — восемь профессоров и почти тридцать человек. А в Германии каждый профессор — автономная единица: у каждого своя группа и своя область интересов.
У нас коллеги занимаются очень разными темами. Андреас Лерманн работает с машинным обучением в контексте динамических систем, Доминик Сойс — с машинным зрением, я — с обработкой естественного языка и языковыми моделями. В моей группе мы, с одной стороны, занимаемся эффективностью языковых моделей — тем, как получать лучшее качество при меньшем размере. А с другой — изучаем, как модели влияют на поведение людей: как личные ассистенты меняют процесс принятия решений, какие bias-ы у них возникают и как эти эффекты можно выявлять и анализировать.
Мы, например, показали в нашем исследовании 2025 года довольно простой эффект. Если спросить модель: «Я женщина, сколько мне попросить денег за такую работу?», в среднем она советует просить меньше, чем если задать тот же вопрос от имени мужчины. Если копать дальше, видно, что хуже всего с точки зрения зарплатных рекомендаций от LLM быть черной женщиной или беженцем, а лучше всего — азиатским мужчиной-экспатом.
Хуже всего с точки зрения зарплатных рекомендаций от LLM быть черной женщиной или беженцем
Конечно, в реальной жизни пользователи редко явно пишут модели: «я черная женщина» или «я беженец», но модели и так многое понимают без прямых указаний. Современные системы персонализированы: если человек, например, ищет косметику для темной кожи, спрашивает совета о боли во время менструаций, а потом просит помочь написать письмо в государственный орган как беженец, у модели постепенно складывается внутреннее представление о пользователе.
Насколько оно точное — отдельный вопрос. Но очевидно, что со временем оно будет становиться все более детализированным. И из-за этой персонализации человек может даже не замечать bias-ов в ответах: для него модель просто «так отвечает», и это воспринимается как норма.
Сейчас люди используют модели как консультантов в вопросах ментального здоровья. Это тоже тема, которая нас интересует: насколько это меняет поведение и как-то на него влияет.
Зачем совмещать работу в индустрии и в академии
Я считаю, что капитализм — это контактный вид спорта. Люди, которые изучают его, в нем не участвуя, похожи на тех, кто комментирует футбол, ни разу не выходя на поле. Или комментируют единоборства, не выходя на татами. Смотреть бокс по телевизору и самому выходить на ринг — это принципиально разные виды опыта.
Если я готовлю студентов к работе на рынке труда, а это именно «рынок» труда, я и сам должен периодически на этом рынке что-то делать. Иначе мои представления довольно быстро отрываются от реальности. Я это вижу по многим коллегам, которые годами не взаимодействуют с рыночными механизмами, и в итоге это сказывается на качестве выпускников.
Есть и более приземленная причина. У меня дефицит внимания — мне сложно всю жизнь заниматься чем-то одним. Я к этому не очень приспособлен, но, как в фильме «ДМБ», решил свой недуг в подвиг превратить. Со временем я понял, что работаю гораздо эффективнее, если занимаюсь несколькими вещами сразу и переключаю фокус, когда он начинает рассеиваться. В итоге я просто выстроил карьеру так, чтобы это было возможно.
Что стоит изучать человеку, который хотел бы оставаться актуальным в будущем
В первую очередь, стоит изучать себя. Мы все — результат биологии и опыта, и эти вещи довольно нелинейно взаимодействуют друг с другом. Я верю, что у человека есть свобода воли, а значит, в том, что касается опыта, мы можем себя менять. А вот биологию можно менять сильно меньше.
Как физик я хорошо понимаю, что глубокое понимание ограничений задачи позволяет находить более качественные решения. Поэтому важно понимать, как вы устроены физически и психологически: что вы можете, чего не можете, в чем вы сильны, а в чем слабы.
Второе — понимать, чего вы хотите от жизни. Это сложный вопрос, и ответ на него обычно не находится быстро. Более того, он меняется со временем, поэтому задавать его себе нужно регулярно. Но даже приблизительный план, который вы потом поменяете, гораздо лучше, чем полное отсутствие плана.
А дальше, опираясь на понимание своих ограничений и своих целей, уже можно формулировать, какой опыт вам нужен, чтобы туда прийти. Здесь возможны разные стратегии. Кто-то прокачивает то, что у него уже хорошо получается, чтобы стать лучшим в узкой области. А кому-то, наоборот, важно сначала подтянуть очевидно слабое место — потому что без этого к нужной точке просто не добраться.
Стратегии могут быть разными и сильно зависят от человека и контекста. Но начинать в любом случае стоит с одного и того же — с изучения себя.
