Как ИИ может изменить мир к лучшему

Дарио Амодей, CEO Antropic

Я много думаю и говорю о рисках мощного ИИ. Компания, генеральным директором которой я являюсь, Anthropic, проводит много исследований о том, как снизить эти риски. Из-за этого люди иногда делают вывод, что я пессимист или «обреченный», который думает, что ИИ будет в основном плохим или опасным. Я так совсем не думаю. На самом деле, одна из главных причин, по которой я сосредотачиваюсь на рисках, заключается в том, что они — единственное, что стоит между нами и тем, что я вижу как фундаментально позитивное будущее. Я думаю, что большинство людей недооценивают, насколько радикальным может быть потенциал ИИ , так же, как я думаю, что большинство людей недооценивают, насколько серьезными могут быть риски.

В этом эссе я пытаюсь обрисовать, как может выглядеть этот положительный момент — как может выглядеть мир с мощным ИИ, если все пойдет правильно . Конечно, никто не может знать будущее с какой-либо определенностью или точностью, и последствия мощного ИИ, вероятно, будут еще более непредсказуемыми, чем прошлые технологические изменения, поэтому все это неизбежно будет состоять из догадок. Но я стремлюсь по крайней мере к обоснованным и полезным догадкам, которые отражают суть того, что произойдет, даже если большинство деталей окажутся неверными. Я включаю много деталей в основном потому, что считаю, что конкретное видение больше способствует обсуждению, чем очень уклончивое и абстрактное.

Но сначала я хотел бы кратко объяснить, почему мы с Anthropic не так много говорили о преимуществах мощного ИИ, и почему мы, вероятно, продолжим, в целом, много говорить о рисках. В частности, я сделал этот выбор из желания:

Максимизировать рычаг . Базовое развитие технологии ИИ и многие (но не все) ее преимущества кажутся неизбежными (если только риски не сорвут все) и в основе своей движимы мощными рыночными силами. С другой стороны, риски не предопределены, и наши действия могут значительно изменить их вероятность.
Избегайте восприятия пропаганды . Компании ИИ, говорящие обо всех удивительных преимуществах ИИ, могут показаться пропагандистами или попытками отвлечь внимание от недостатков. Я также считаю, что в принципе вредно для души тратить слишком много времени на «разговоры о своей книге».
Избегайте грандиозности . Меня часто отталкивает то, как многие публичные деятели, занимающиеся рисками ИИ (не говоря уже о лидерах компаний ИИ), говорят о мире после AGI, как будто это их миссия — в одиночку осуществить его, как пророки, ведущие свой народ к спасению. Я думаю, опасно рассматривать компании как единолично формирующие мир, и опасно рассматривать практические технологические цели в по сути религиозных терминах.
Избегайте «научно-фантастического» багажа . Хотя я думаю, что большинство людей недооценивают преимущества мощного ИИ, небольшое сообщество людей, которые обсуждают радикальное будущее ИИ, часто делает это в чрезмерно «научно-фантастическом» тоне (например, загружая разум, исследуя космос или общая атмосфера киберпанка). Я думаю, что это заставляет людей относиться к заявлениям менее серьезно и наделять их своего рода нереальностью. Чтобы было ясно, вопрос не в том, возможны или вероятны описанные технологии (основное эссе обсуждает это в мельчайших подробностях) — скорее, «атмосфера» коннотативно протаскивает кучу культурного багажа и невысказанных предположений о том, какое будущее желательно, как будут разворачиваться различные общественные проблемы и т. д. Результат часто оказывается фантазией для узкой субкультуры, в то время как для большинства людей он отталкивает.

Тем не менее, несмотря на все вышеперечисленные опасения, я действительно считаю важным обсудить, как может выглядеть хороший мир с мощным ИИ, при этом делая все возможное, чтобы избежать вышеупомянутых ловушек. На самом деле, я думаю, что критически важно иметь действительно вдохновляющее видение будущего, а не просто план по борьбе с пожарами. Многие из последствий мощного ИИ являются враждебными или опасными, но в конце концов, должно быть что-то, за что мы боремся , какой-то результат с положительной суммой, где всем будет лучше, что-то, что сплотит людей, чтобы подняться над их ссорами и противостоять грядущим вызовам. Страх — это один из видов мотивации, но его недостаточно: нам также нужна надежда.

Список позитивных применений мощного ИИ чрезвычайно длинный (и включает робототехнику, производство, энергетику и многое другое), но я собираюсь сосредоточиться на небольшом количестве областей, которые, как мне кажется, имеют наибольший потенциал для непосредственного улучшения качества человеческой жизни. Пять категорий, которые меня больше всего волнуют:

Биология и физическое здоровье
Нейробиология и психическое здоровье
Экономическое развитие и бедность
Мир и управление
Работа и смысл

Мои прогнозы будут радикальными по большинству стандартов (кроме научно-фантастических видений «сингулярности» ² ), но я говорю их искренне и серьезно. Все, что я говорю, может легко оказаться неверным (повторяя мою точку зрения выше), но я, по крайней мере, попытался обосновать свои взгляды полуаналитической оценкой того, насколько может ускориться прогресс в различных областях и что это может означать на практике. Мне повезло иметь профессиональный опыт как в биологии, так и в нейронауке , и я информированный любитель в области экономического развития, но я уверен, что я сделаю много ошибок. Одна вещь, которую я осознал, написав это эссе, заключается в том, что было бы полезно собрать группу экспертов в предметной области (в биологии, экономике, международных отношениях и других областях), чтобы написать гораздо лучшую и более информированную версию того, что я здесь создал. Вероятно, лучше всего рассматривать мои усилия здесь как отправную точку для этой группы.

Содержание

Основные предположения и структура
1. Биология и здоровье
2. Нейронаука и разум
3. Экономическое развитие и бедность
4. Мир и управление
5. Работа и смысл
Подведение итогов
Сноски

Основные предположения и структура

Чтобы сделать это эссе более точным и обоснованным, полезно четко указать, что мы подразумеваем под мощным ИИ (т. е. порог, при котором начинается отсчет 5–10-летних часов), а также изложить основу для размышлений о последствиях такого ИИ, когда он появится.

Как будет выглядеть мощный ИИ (термин AGI мне не нравится) ³ , и когда (или если) он появится, это сама по себе огромная тема. Я обсуждал это публично и мог бы написать совершенно отдельное эссе (вероятно, в какой-то момент я это сделаю). Очевидно, что многие люди скептически относятся к тому, что мощный ИИ будет создан в ближайшее время, а некоторые скептически относятся к тому, что он вообще когда-либо будет создан. Я думаю, что это может произойти уже в 2026 году, хотя есть также способы, которыми это может занять гораздо больше времени. Но для целей этого эссе я хотел бы отложить эти вопросы в сторону, предположить, что это произойдет достаточно скоро, и сосредоточиться на том, что произойдет через 5-10 лет после этого. Я также хочу предположить определение того, как будет выглядеть такая система, каковы ее возможности и как она взаимодействует, хотя по этому поводу есть место для разногласий.

Под мощным ИИ я подразумеваю модель ИИ, вероятно, похожую по форме на сегодняшние LLM, хотя она может быть основана на другой архитектуре, может включать несколько взаимодействующих моделей и может обучаться по-другому, — со следующими свойствами:

С точки зрения чистого интеллекта4 ^он умнее лауреата Нобелевской премии в большинстве соответствующих областей — биологии, программировании, математике, инженерии, письме и т. д. Это означает, что он может доказывать нерешенные математические теоремы, писать чрезвычайно хорошие романы, писать сложные кодовые базы с нуля и т. д.
Помимо того, что он просто «умная штука, с которой вы разговариваете», он имеет все «интерфейсы», доступные человеку, работающему виртуально, включая текст, аудио, видео, управление мышью и клавиатурой, а также доступ в Интернет. Он может участвовать в любых действиях, коммуникациях или удаленных операциях, доступных через этот интерфейс, включая выполнение действий в Интернете, получение или предоставление указаний людям, заказ материалов, руководство экспериментами, просмотр видео, создание видео и т. д. Он выполняет все эти задачи с, опять же, мастерством, превосходящим мастерство самых способных людей в мире.
Он не просто пассивно отвечает на вопросы; вместо этого ему можно давать задания, выполнение которых занимает часы, дни или недели, а затем он уходит и выполняет эти задания автономно, как это сделал бы умный сотрудник, при необходимости запрашивая разъяснения.
У него нет физического воплощения (кроме как нахождения на экране компьютера), но он может управлять существующими физическими инструментами, роботами или лабораторным оборудованием через компьютер; теоретически он мог бы даже проектировать роботов или оборудование для себя.
Ресурсы, используемые для обучения модели, могут быть перенаправлены на запуск миллионов ее экземпляров (это соответствует прогнозируемым размерам кластеров к ~2027 году), а модель может поглощать информацию и генерировать действия примерно в 10-100 раз быстрее человеческой скорости ^5. Однако она может быть ограничена временем отклика физического мира или программного обеспечения, с которым она взаимодействует.
Каждая из этих миллионов копий может действовать независимо, выполняя несвязанные задачи, или, при необходимости, все они могут работать вместе, так же, как сотрудничают люди, возможно, с различными субпопуляциями, настроенными на то, чтобы быть особенно эффективными в выполнении определенных задач.

Мы могли бы кратко охарактеризовать это как «страну гениев в центре обработки данных».

Очевидно, что такая сущность была бы способна решать очень сложные проблемы, очень быстро, но нетривиально выяснить, насколько быстро. Две «экстремальные» позиции кажутся мне ложными. Во-первых, вы можете подумать, что мир мгновенно преобразится в масштабе секунд или дней (« Сингулярность »), поскольку высший интеллект строится на себе и решает все возможные научные, инженерные и операционные задачи почти мгновенно. Проблема в том, что существуют реальные физические и практические ограничения, например, вокруг создания оборудования или проведения биологических экспериментов. Даже новая страна гениев упрется в эти ограничения. Интеллект может быть очень мощным, но это не волшебная волшебная пыльца.

Во-вторых, и наоборот, вы можете полагать, что технический прогресс насыщен или ограничен по скорости данными реального мира или социальными факторами, и что интеллект, превосходящий человеческий, добавит очень мало ⁶ . Мне это кажется столь же неправдоподобным — я могу вспомнить сотни научных или даже социальных проблем, где большая группа действительно умных людей радикально ускорила бы прогресс, особенно если бы они не ограничивались анализом и могли бы заставлять вещи происходить в реальном мире (что может наша предполагаемая страна гениев, в том числе направляя или помогая командам людей).

Я думаю, что истина, скорее всего, будет некоей беспорядочной смесью этих двух крайних картин, чем-то, что варьируется в зависимости от задачи и области и очень тонко в своих деталях. Я считаю, что нам нужны новые рамки, чтобы думать об этих деталях продуктивным образом.

Экономисты часто говорят о «факторах производства»: таких вещах, как труд, земля и капитал. Фраза «предельная отдача от труда/земли/капитала» отражает идею о том, что в данной ситуации данный фактор может быть или не быть ограничивающим — например, военно-воздушным силам нужны и самолеты, и пилоты, и найм большего количества пилотов не поможет, если у вас нет самолетов. Я считаю, что в эпоху ИИ мы должны говорить о предельной отдаче от интеллекта ⁷ и пытаться выяснить, какие еще факторы являются дополнительными к интеллекту и становятся ограничивающими факторами, когда интеллект очень высок. Мы не привыкли думать таким образом — спрашивать «насколько умнее быть полезным для этой задачи и в какие сроки?» — но это кажется правильным способом концептуализации мира с очень мощным ИИ.

По моим предположениям, список факторов, ограничивающих или дополняющих интеллект, включает в себя:

Скорость внешнего мира . Интеллектуальным агентам необходимо интерактивно работать в мире, чтобы что-то делать, а также учиться ^8. Но мир движется не так уж быстро. Клетки и животные работают с фиксированной скоростью, поэтому эксперименты над ними занимают определенное количество времени, которое может быть несокращенным. То же самое относится к оборудованию, материаловедению, всему, что связано с общением с людьми, и даже к нашей существующей программной инфраструктуре. Более того, в науке многие эксперименты часто необходимо проводить последовательно, каждый из которых учится или основывается на предыдущем. Все это означает, что скорость, с которой может быть завершен крупный проект — например, разработка лекарства от рака — может иметь несокращенный минимум, который нельзя уменьшить еще больше, даже если интеллект продолжает расти.
Потребность в данных . Иногда не хватает исходных данных, и при их отсутствии больше интеллекта не помогает. Сегодняшние физики частиц очень изобретательны и разработали широкий спектр теорий, но у них нет данных, чтобы выбирать между ними, поскольку данные об ускорителях частиц очень ограничены . Неясно, сделали бы они намного лучше, если бы были сверхразумными — разве что ускорили бы строительство более крупного ускорителя.
Внутренняя сложность . Некоторые вещи изначально непредсказуемы или хаотичны, и даже самый мощный ИИ не может предсказать или распутать их существенно лучше, чем человек или компьютер сегодня. Например, даже невероятно мощный ИИ может предсказать лишь незначительно дальше вперед в хаотической системе (такой как задача трех тел ) в общем случае, ⁹ по сравнению с сегодняшними людьми и компьютерами.
Ограничения со стороны людей . Многие вещи невозможно сделать, не нарушая законы, не причиняя вреда людям или не портя общество. Согласованный ИИ не хотел бы делать эти вещи (а если у нас есть несогласованный ИИ, мы снова говорим о рисках). Многие человеческие общественные структуры неэффективны или даже активно вредны, но их трудно изменить, соблюдая ограничения, такие как юридические требования к клиническим испытаниям, готовность людей менять свои привычки или поведение правительств. Примерами достижений, которые хорошо работают в техническом смысле, но чье влияние было существенно уменьшено из-за правил или необоснованных страхов, являются ядерная энергетика, сверхзвуковой полет и даже лифты .
Физические законы . Это более суровая версия первого пункта. Существуют определенные физические законы, которые кажутся нерушимыми. Невозможно двигаться быстрее света. Пудинг не стоит на месте . Чипы могут иметь только определенное количество транзисторов на квадратный сантиметр , прежде чем они станут ненадежными . Вычисления требуют определенного минимума энергии на стираемый бит, что ограничивает плотность вычислений в мире.

Существует еще одно различие, основанное на временных масштабах . То, что является жесткими ограничениями в краткосрочной перспективе, может стать более податливым для интеллекта в долгосрочной перспективе. Например, интеллект может быть использован для разработки новой экспериментальной парадигмы, которая позволит нам изучать in vitro то, что раньше требовало экспериментов на живых животных, или для создания инструментов, необходимых для сбора новых данных (например, более крупного ускорителя частиц), или (в пределах этических ограничений) для поиска способов обойти ограничения, связанные с человеком (например, помощь в улучшении системы клинических испытаний, помощь в создании новых юрисдикций, где клинические испытания имеют меньше бюрократии, или улучшение самой науки, чтобы сделать клинические испытания на людях менее необходимыми или более дешевыми).

Таким образом, мы должны представить себе картину, в которой интеллект изначально сильно сдерживается другими факторами производства, но со временем сам интеллект все больше обходит другие факторы, даже если они никогда полностью не растворяются (а некоторые вещи, такие как физические законы, являются абсолютными) ^10. Ключевой вопрос заключается в том, как быстро все это происходит и в каком порядке.

Учитывая вышеизложенную структуру, я попытаюсь ответить на этот вопрос применительно к пяти областям, упомянутым во введении.

1. Биология и здоровье

Биология, вероятно, является той областью, где научный прогресс имеет наибольший потенциал для прямого и однозначного улучшения качества человеческой жизни. В прошлом веке некоторые из самых древних человеческих недугов (например, оспа) были наконец побеждены, но многие другие все еще остаются, и победа над ними была бы огромным гуманитарным достижением. Помимо даже лечения болезней, биологическая наука в принципе может улучшить базовое качество здоровья человека, продлевая здоровую продолжительность жизни человека, увеличивая контроль и свободу над нашими собственными биологическими процессами и решая повседневные проблемы, которые мы в настоящее время считаем неизменными частями человеческого состояния.

На языке «ограничивающих факторов» предыдущего раздела основными проблемами прямого применения интеллекта к биологии являются данные, скорость физического мира и внутренняя сложность (на самом деле, все три связаны друг с другом). Человеческие ограничения также играют роль на более поздней стадии, когда речь идет о клинических испытаниях. Давайте рассмотрим их по одному.

Эксперименты на клетках, животных и даже химических процессах ограничены скоростью физического мира: многие биологические протоколы включают культивирование бактерий или других клеток или просто ожидание химических реакций, и это иногда может занять дни или даже недели, без очевидного способа ускорить это. Эксперименты на животных могут занять месяцы (или больше), а эксперименты на людях часто занимают годы (или даже десятилетия для долгосрочных исследований результатов). В некоторой степени это связано с тем, что данных часто не хватает — не столько по количеству, сколько по качеству: всегда не хватает четких, недвусмысленных данных, которые изолируют интересующий биологический эффект от других 10 000 запутывающих вещей, которые происходят, или которые причинно вмешиваются в данный процесс, или которые напрямую измеряют какой-то эффект (в отличие от выведения его последствий каким-то косвенным или шумным способом). Даже массивные количественные молекулярные данные, такие как данные протеомики, которые я собрал, работая над методами масс-спектрометрии, содержат много шума и упускают многое (в каких типах клеток находились эти белки? В какой части клетки? На какой фазе клеточного цикла?).

Частично эти проблемы с данными вызваны внутренней сложностью: если вы когда-либо видели диаграмму, показывающую биохимию человеческого метаболизма , вы знаете, что очень сложно выделить влияние любой части этой сложной системы, и еще сложнее вмешаться в систему точным или предсказуемым образом. И, наконец, помимо внутреннего времени, которое требуется для проведения эксперимента на людях, реальные клинические испытания включают в себя множество бюрократии и нормативных требований, которые (по мнению многих людей, включая меня) добавляют ненужное дополнительное время и задерживают прогресс.

Учитывая все это, многие биологи долгое время скептически относились к ценности ИИ и «больших данных» в целом в биологии. Исторически математики, специалисты по информатике и физики, которые применяли свои навыки в биологии за последние 30 лет, были довольно успешны, но не оказали по-настоящему преобразующего воздействия, на которое изначально надеялись. Часть скептицизма была уменьшена крупными и революционными прорывами, такими как AlphaFold (который только что заслуженно принес своим создателям Нобелевскую премию по химии ) и AlphaProteo ¹¹ , но все еще существует мнение, что ИИ полезен (и будет полезен) только в ограниченном наборе обстоятельств. Распространенная формулировка такова: «ИИ может лучше анализировать ваши данные, но он не может производить больше данных или улучшать качество данных. Мусор на входе, мусор на выходе».

Но я думаю, что эта пессимистическая точка зрения — неправильное представление об ИИ. Если наша основная гипотеза о прогрессе ИИ верна, то правильным способом думать об ИИ будет не как о методе анализа данных, а как о виртуальном биологе, который выполняет все задачи, которые выполняют биологи, включая разработку и проведение экспериментов в реальном мире (управляя лабораторными роботами или просто сообщая людям, какие эксперименты проводить — как главный исследователь своим аспирантам), изобретение новых биологических методов или методов измерения и так далее. Именно за счет ускорения всего процесса исследований ИИ может по-настоящему ускорить биологию. Я хочу повторить это, потому что это самое распространенное заблуждение, которое возникает, когда я говорю о способности ИИ преобразовывать биологию: я не говорю об ИИ просто как об инструменте для анализа данных. В соответствии с определением мощного ИИ в начале этого эссе, я говорю об использовании ИИ для выполнения, руководства и улучшения практически всего, что делают биологи.

Чтобы конкретнее сказать, откуда, по моему мнению, может прийти ускорение, удивительно большая доля прогресса в биологии произошла из действительно небольшого числа открытий, часто связанных с широкими измерительными инструментами или методами ¹² , которые позволяют точное, но обобщенное или программируемое вмешательство в биологические системы. Возможно, есть ~1 из этих крупных открытий в год, и в совокупности они, возможно, обеспечивают >50% прогресса в биологии. Эти открытия настолько сильны именно потому, что они прорываются через внутреннюю сложность и ограничения данных, напрямую увеличивая наше понимание и контроль над биологическими процессами. Несколько открытий за десятилетие позволили как большую часть нашего базового научного понимания биологии, так и привели к появлению многих из самых мощных медицинских методов лечения.

Вот некоторые примеры:

CRISPR : метод, позволяющий редактировать любой ген в живых организмах в режиме реального времени (замена любой произвольной последовательности гена на любую другую произвольную последовательность). С момента разработки оригинального метода постоянно вносились усовершенствования для нацеливания на определенные типы клеток, повышения точности и сокращения редактирования неправильного гена — все это необходимо для безопасного использования на людях.
Различные виды микроскопии для наблюдения за происходящим на точном уровне: современные световые микроскопы (с различными видами флуоресцентной техники, специальной оптикой и т. д.), электронные микроскопы, атомно-силовые микроскопы и т. д.
Секвенирование и синтез генома, стоимость которых за последние пару десятилетий снизилась на несколько порядков.
Оптогенетические методы, позволяющие заставить нейрон активироваться, направляя на него свет.
мРНК-вакцины, которые, в принципе, позволяют нам разрабатывать вакцину против чего угодно, а затем быстро адаптировать ее (мРНК-вакцины, конечно, стали популярны во время COVID).
Клеточная терапия, такая как CAR-T , позволяет извлекать иммунные клетки из организма и «перепрограммировать» их для атаки, в принципе, на что угодно.
Концептуальные идеи, такие как микробная теория болезней или осознание связи между иммунной системой и раком ¹³ .

Я собираюсь перечислить все эти технологии, потому что хочу сделать важное заявление о них: я думаю, что скорость их открытия могла бы быть увеличена в 10 раз или больше, если бы было гораздо больше талантливых, креативных исследователей . Или, другими словами, я думаю, что отдача от интеллекта высока для этих открытий , и что все остальное в биологии и медицине в основном вытекает из них.

Почему я так думаю? Из-за ответов на некоторые вопросы, которые мы должны привыкнуть задавать, когда пытаемся определить «возврат к интеллекту». Во-первых, эти открытия, как правило, делаются небольшим числом исследователей, часто одними и теми же людьми неоднократно, что предполагает мастерство, а не случайный поиск (последнее может означать, что ограничивающим фактором являются длительные эксперименты). Во-вторых, их часто «могли бы сделать» на годы раньше, чем они были: например, CRISPR был естественным компонентом иммунной системы у бактерий, который был известен с 80-х годов , но потребовалось еще 25 лет, чтобы люди поняли, что его можно перепрофилировать для общего редактирования генов. Они также часто задерживаются на много лет из-за отсутствия поддержки со стороны научного сообщества для перспективных направлений (см. этот профиль об изобретателе вакцин мРНК; подобных историй предостаточно). В-третьих, успешные проекты часто бывают разрозненными или представляют собой запоздалые мысли, которые люди изначально не считали многообещающими, а не масштабно финансируемые усилия. Это говорит о том, что не только огромная концентрация ресурсов является движущей силой открытий, но и изобретательность.

Наконец, хотя некоторые из этих открытий имеют «серийную зависимость» (вам нужно сначала сделать открытие A, чтобы иметь инструменты или знания для открытия B) — что опять же может создать экспериментальные задержки — многие, возможно, большинство, являются независимыми, то есть над многими сразу можно работать параллельно. Оба эти факта, и мой общий опыт биолога, настоятельно предполагают, что сотни таких открытий ждут своего часа, если ученые будут умнее и лучше устанавливать связи между огромным объемом биологических знаний, которыми обладает человечество (снова рассмотрим пример CRISPR). Успех AlphaFold / AlphaProteo в решении важных проблем гораздо эффективнее, чем люди, несмотря на десятилетия тщательно разработанного физического моделирования, дает доказательство принципа (хотя и с узким инструментом в узкой области), которое должно указать путь вперед.

Таким образом, я предполагаю, что мощный ИИ может по крайней мере в 10 раз увеличить скорость этих открытий, что даст нам следующие 50-100 лет биологического прогресса за 5-10 лет. ¹⁴ Почему не в 100 раз? Возможно, это возможно, но здесь важны как последовательная зависимость, так и время эксперимента: для достижения 100 лет прогресса за 1 год требуется много вещей, которые должны идти правильно с первого раза, включая эксперименты на животных и такие вещи, как проектирование микроскопов или дорогостоящих лабораторных помещений. Я на самом деле открыт для (возможно, абсурдно звучащей) идеи, что мы можем получить 1000 лет прогресса за 5-10 лет, но очень скептически отношусь к тому, что мы можем получить 100 лет за 1 год. Другими словами, я думаю, что существует неизбежная постоянная задержка: эксперименты и проектирование оборудования имеют определенную «задержку» и должны быть повторены определенное «неснижаемое» количество раз, чтобы узнать вещи, которые не могут быть выведены логически. Но сверх этого возможен и массовый параллелизм ¹⁵ .

А как насчет клинических испытаний? Хотя с ними связано много бюрократии и замедления, правда в том, что большая часть (хотя далеко не вся!) их замедления в конечном итоге проистекает из необходимости строго оценивать препараты, которые едва работают или работают неоднозначно. К сожалению, это относится к большинству современных методов лечения: среднестатистический препарат от рака увеличивает выживаемость на несколько месяцев, при этом имея существенные побочные эффекты, которые необходимо тщательно измерять (аналогичная история и с препаратами от болезни Альцгеймера). Это приводит к огромным исследованиям (для достижения статистической мощности) и сложным компромиссам, в которых регулирующие органы обычно не очень хороши, опять же из-за бюрократии и сложности конкурирующих интересов.

Когда что-то работает действительно хорошо, оно работает намного быстрее: есть ускоренный путь одобрения, и простота одобрения намного выше, когда размеры эффекта больше. мРНК-вакцины от COVID были одобрены за 9 месяцев — намного быстрее обычного темпа. Тем не менее, даже в этих условиях клинические испытания все еще слишком медленные — мРНК-вакцины, возможно, должны были быть одобрены примерно за 2 месяца . Но такие задержки (~1 год от начала до конца для препарата) в сочетании с массивной параллелизацией и необходимостью некоторой, но не слишком большой итерации («несколько попыток») вполне совместимы с радикальной трансформацией за 5–10 лет. Еще более оптимистично, что возможно, что биологическая наука с поддержкой ИИ снизит необходимость итерации в клинических испытаниях за счет разработки лучших экспериментальных моделей животных и клеток (или даже симуляций), которые точнее предсказывают, что произойдет у людей. Это будет особенно важно при разработке препаратов против процесса старения, который длится десятилетиями и где нам нужен более быстрый цикл итерации.

Наконец, говоря о клинических испытаниях и социальных барьерах, стоит прямо указать, что в некоторых отношениях биомедицинские инновации имеют необычайно прочный послужной список успешного внедрения, в отличие от некоторых других технологий ¹⁶ . Как упоминалось во введении, многие технологии сдерживаются социальными факторами, несмотря на то, что они хорошо работают технически. Это может указывать на пессимистический взгляд на то, чего может достичь ИИ . Но биомедицина уникальна тем, что, хотя процесс разработки лекарств чрезмерно громоздкий, после разработки они, как правило, успешно внедряются и используются.

Подводя итог вышесказанному, мой основной прогноз заключается в том, что биология и медицина с поддержкой ИИ позволят нам сжать прогресс, которого биологи-люди достигли бы за следующие 50-100 лет, до 5-10 лет. Я буду называть это «сжатым 21-м веком»: идея о том, что после разработки мощного ИИ мы за несколько лет достигнем всего прогресса в биологии и медицине, которого достигли бы за весь 21-й век.

Хотя предсказать, что может сделать мощный ИИ через несколько лет, по сути своей сложно и спекулятивно, есть некоторая конкретность в вопросе «что люди могли бы сделать без посторонней помощи в течение следующих 100 лет?». Простой взгляд на то, чего мы достигли в 20 веке, или экстраполяция первых 2 десятилетий 21-го, или вопрос о том, что нам дадут «10 CRISPR и 50 CAR-T», — все это предлагает практические, обоснованные способы оценки общего уровня прогресса, которого мы могли бы ожидать от мощного ИИ.

Ниже я попытаюсь составить список того, чего мы можем ожидать. Это не основано на какой-либо строгой методологии и почти наверняка окажется неверным в деталях, но это попытка передать общий уровень радикализма, которого мы должны ожидать:

Надежная профилактика и лечение почти всех ¹⁷ естественных инфекционных заболеваний. Учитывая огромные успехи в борьбе с инфекционными заболеваниями в 20 веке, не так уж и радикально представлять, что мы могли бы более или менее «закончить работу» в сжатом 21 веке. мРНК-вакцины и аналогичные технологии уже указывают путь к « вакцинам от всего ». Будут ли инфекционные заболевания полностью искоренены в мире (а не только в некоторых местах), зависит от вопросов о бедности и неравенстве, которые обсуждаются в разделе 3.
Устранение большинства видов рака . За последние несколько десятилетий уровень смертности от рака снижался примерно на 2% в год ; таким образом, мы находимся на пути к устранению большинства видов рака в 21 веке при нынешних темпах развития человеческой науки. Некоторые подтипы уже в значительной степени излечены (например, некоторые типы лейкемии с помощью CAR-T-терапии ), и я, возможно, еще больше взволнован очень селективными препаратами, которые воздействуют на рак в зачаточном состоянии и не дают ему расти. ИИ также сделает возможными схемы лечения, очень тонко адаптированные к индивидуальному геному рака — это возможно сегодня, но требует огромных временных и человеческих затрат, которые ИИ должен позволить нам масштабировать. Сокращение смертности и заболеваемости на 95% и более представляется возможным. Тем не менее, рак чрезвычайно разнообразен и адаптивен, и, вероятно, является самым трудным из этих заболеваний для полного уничтожения. Неудивительно, если ассортимент редких, сложных злокачественных новообразований сохранится.
Очень эффективная профилактика и эффективное лечение генетических заболеваний . Значительно улучшенный скрининг эмбрионов , вероятно, позволит предотвратить большинство генетических заболеваний, а некоторые более безопасные, более надежные потомки CRISPR могут вылечить большинство генетических заболеваний у существующих людей. Однако, заболевания всего тела, которые затрагивают большую часть клеток, могут оказаться последними задержками.
Профилактика болезни Альцгеймера . Нам было очень трудно выяснить, что вызывает болезнь Альцгеймера (она каким-то образом связана с бета-амилоидным белком, но фактические детали кажутся очень сложными ). Кажется, это именно тот тип проблемы, который можно решить с помощью лучших инструментов измерения, которые изолируют биологические эффекты; поэтому я оптимистично настроен относительно способности ИИ решить ее. Есть хороший шанс, что в конечном итоге ее можно будет предотвратить с помощью относительно простых вмешательств, как только мы действительно поймем, что происходит. Тем не менее, ущерб от уже существующей болезни Альцгеймера может быть очень трудно обратить вспять.
Улучшенное лечение большинства других заболеваний . Это категория, охватывающая все другие заболевания, включая диабет, ожирение, болезни сердца, аутоиммунные заболевания и многое другое. Большинство из них, по-видимому, «легче» вылечить, чем рак и болезнь Альцгеймера, и во многих случаях они уже резко пошли на спад. Например, смертность от болезней сердца уже снизилась более чем на 50%, а простые вмешательства, такие как агонисты GLP-1, уже добились огромного прогресса в борьбе с ожирением и диабетом.
Биологическая свобода . За последние 70 лет были достигнуты успехи в контроле рождаемости, фертильности, управлении весом и многом другом. Но я подозреваю, что ускоренная ИИ биология значительно расширит возможности: вес, внешность, воспроизводство и другие биологические процессы будут полностью под контролем людей. Мы будем ссылаться на них в разделе биологической свободы: идея о том, что каждый должен иметь возможность выбирать, кем он хочет стать, и жить своей жизнью так, как ему больше всего нравится. Конечно, будут важные вопросы о глобальном равенстве доступа; см. Раздел 3 для их изучения.
Удвоение продолжительности жизни человека ¹⁸ . Это может показаться радикальным, но продолжительность жизни увеличилась почти в 2 раза в 20 веке (с ~40 лет до ~75), так что «в тренде», что «сжатый 21-й» снова удвоит ее до 150. Очевидно, что вмешательства, связанные с замедлением фактического процесса старения, будут отличаться от тех, которые были необходимы в прошлом веке для предотвращения (в основном детской) преждевременной смерти от болезней, но масштабы изменений не беспрецедентны ¹⁹ . Конкретно, уже существуют препараты, которые увеличивают максимальную продолжительность жизни у крыс на 25-50% с ограниченными побочными эффектами. А некоторые животные (например, некоторые виды черепах) уже живут 200 лет, так что люди явно не достигли некоего теоретического верхнего предела. По идее, самое главное, что нужно, — это надежные, не поддающиеся Гудхарту биомаркеры старения человека, поскольку это позволит быстро итерировать эксперименты и клинические испытания. Когда продолжительность жизни человека достигнет 150 лет, мы, возможно, сможем достичь «второй космической скорости», что даст нам достаточно времени, чтобы большинство из ныне живущих смогли прожить столько, сколько захотят, хотя, безусловно, нет никакой гарантии, что это биологически возможно.

Стоит взглянуть на этот список и поразмышлять о том, насколько другим станет мир, если все это будет достигнуто через 7–12 лет (что соответствовало бы агрессивным срокам ИИ). Само собой разумеется, что это был бы невообразимый гуманитарный триумф, устранение разом большинства бедствий, которые преследовали человечество на протяжении тысячелетий. Многие из моих друзей и коллег воспитывают детей, и когда эти дети вырастут, я надеюсь, что любое упоминание о болезнях будет звучать для них так же, как для нас цинга, оспа или бубонная чума. Это поколение также выиграет от возросшей биологической свободы и самовыражения, и, если повезет, также сможет жить столько, сколько захочет.

Трудно переоценить, насколько неожиданными эти изменения будут для всех, кроме небольшого сообщества людей, которые ожидали мощного ИИ. Например, тысячи экономистов и экспертов по политике в США в настоящее время обсуждают, как сохранить платежеспособность социального обеспечения и Medicare, и, в более широком смысле, как снизить стоимость здравоохранения (которое в основном потребляют люди старше 70 лет и особенно те, у кого неизлечимые заболевания, такие как рак). Ситуация с этими программами, вероятно, радикально улучшится, если все это произойдет20 ^, поскольку соотношение трудоспособного и пенсионного населения резко изменится. Несомненно, эти проблемы будут заменены другими, такими как обеспечение широкого доступа к новым технологиям, но стоит задуматься о том, насколько изменится мир, даже если биология будет единственной областью , которую успешно ускорит ИИ.

2. Нейронаука и разум

В предыдущем разделе я сосредоточился на физических заболеваниях и биологии в целом и не затронул нейробиологию или психическое здоровье. Но нейробиология — это раздел биологии, а психическое здоровье так же важно, как и физическое. На самом деле, если уж на то пошло, психическое здоровье влияет на благополучие человека даже более непосредственно, чем физическое. Сотни миллионов людей имеют очень низкое качество жизни из-за таких проблем, как зависимость, депрессия, шизофрения, низкофункциональный аутизм, ПТСР, психопатия ²¹ или интеллектуальные нарушения. Еще миллиарды людей борются с повседневными проблемами, которые часто можно интерпретировать как гораздо более мягкие версии одного из этих тяжелых клинических расстройств. И, как и в случае с общей биологией, возможно, можно выйти за рамки решения проблем и улучшить базовое качество человеческого опыта.

Базовая структура, которую я изложил для биологии, в равной степени применима и к нейронауке. Эта область продвигается вперед благодаря небольшому числу открытий, часто связанных с инструментами для измерения или точного вмешательства — в списке выше оптогенетика была открытием нейронауки, а совсем недавно CLARITY и микроскопия расширения — это достижения в том же духе, в дополнение ко многим общим методам клеточной биологии, напрямую перенесенным в нейронауку. Я думаю, что скорость этих достижений будет аналогичным образом ускорена ИИ, и поэтому структура «100 лет прогресса за 5-10 лет» применима к нейронауке так же, как и к биологии, и по тем же причинам. Как и в биологии, прогресс в нейронауке 20-го века был колоссальным — например, мы даже не понимали, как или почему нейроны активизируются до 1950-х годов . Таким образом, кажется разумным ожидать, что нейронаука, ускоренная ИИ, даст быстрый прогресс в течение нескольких лет.

Есть одна вещь, которую мы должны добавить к этой базовой картине, а именно то, что некоторые из вещей, которые мы узнали (или узнаем) о самом ИИ за последние несколько лет, вероятно, помогут продвинуть нейронауку, даже если это по-прежнему будет делаться только людьми. Интерпретируемость — очевидный пример: хотя биологические нейроны поверхностно работают совершенно иначе, чем искусственные нейроны (они общаются посредством спайков и часто с частотой спайков, поэтому есть элемент времени, которого нет в искусственных нейронах, и множество деталей, касающихся клеточной физиологии и нейротрансмиттеров, существенно изменяет их работу), основной вопрос «как распределенные, обученные сети простых единиц, которые выполняют комбинированные линейные/нелинейные операции, работают вместе для выполнения важных вычислений» тот же самый, и я сильно подозреваю, что детали индивидуальной нейронной коммуникации будут абстрагированы в большинстве интересных вопросов о вычислениях и схемах ²² . В качестве одного из примеров этого, вычислительный механизм, обнаруженный исследователями интерпретируемости в системах ИИ, был недавно заново открыт в мозге мышей.

Гораздо проще проводить эксперименты на искусственных нейронных сетях, чем на реальных (последнее часто требует разрезания мозга животных), поэтому интерпретируемость вполне может стать инструментом для улучшения нашего понимания нейронауки. Более того, мощные ИИ, вероятно, сами смогут разрабатывать и применять этот инструмент лучше, чем люди.

Но помимо просто интерпретируемости, то, что мы узнали от ИИ о том, как обучаются интеллектуальные системы , должно (хотя я не уверен, что это уже произошло ) вызвать революцию в нейронауке. Когда я работал в нейронауке, многие люди сосредоточились на том, что я бы сейчас считал неправильными вопросами об обучении, потому что концепция гипотезы масштабирования / горького урока еще не существовала. Идея о том, что простая целевая функция плюс много данных могут управлять невероятно сложным поведением, делает более интересным понимание целевых функций и архитектурных предубеждений и менее интересным понимание деталей возникающих вычислений. Я не следил за этой областью пристально в последние годы, но у меня есть смутное ощущение, что вычислительные нейробиологи все еще не полностью усвоили урок. Мое отношение к гипотезе масштабирования всегда было таким: «Ага, это объяснение на высоком уровне того, как работает интеллект и как он так легко эволюционировал», но я не думаю, что это точка зрения среднестатистического нейробиолога, отчасти потому, что гипотеза масштабирования как «секрет интеллекта» не полностью принята даже в рамках ИИ.

Я думаю, что нейробиологи должны попытаться объединить это базовое понимание с особенностями человеческого мозга (биофизические ограничения, эволюционная история, топология, детали моторных и сенсорных входов/выходов), чтобы попытаться выяснить некоторые из ключевых загадок нейробиологии. Некоторые, вероятно, уже есть, но я подозреваю, что этого пока недостаточно, и что нейробиологи ИИ смогут более эффективно использовать этот угол зрения для ускорения прогресса.

Я ожидаю, что ИИ ускорит прогресс в области нейробиологии по четырем различным направлениям, все из которых, как я надеюсь, могут работать вместе для лечения психических заболеваний и улучшения функций:

Традиционная молекулярная биология, химия и генетика . По сути, это та же история, что и общая биология в разделе 1, и ИИ, вероятно, может ускорить ее с помощью тех же механизмов. Существует множество препаратов, которые модулируют нейротрансмиттеры, чтобы изменить функцию мозга, повлиять на бдительность или восприятие, изменить настроение и т. д., и ИИ может помочь нам изобрести еще многое. ИИ, вероятно, также может ускорить исследования генетической основы психических заболеваний.
Мелкозернистое нейронное измерение и вмешательство . Это способность измерять то, что делают множество отдельных нейронов или нейронных цепей, и вмешиваться, чтобы изменить их поведение. Оптогенетика и нейронные зонды — это технологии, способные как измерять, так и вмешиваться в живые организмы, и также были предложены и кажутся в принципе возможными несколько очень продвинутых методов (таких как молекулярные ленты-тикеры для считывания схем активации большого количества отдельных нейронов).
Продвинутая вычислительная нейронаука . Как отмечено выше, как конкретные идеи, так и гештальт современного ИИ, вероятно, могут быть плодотворно применены к вопросам системной нейронауки , включая, возможно, раскрытие реальных причин и динамики сложных заболеваний, таких как психоз или расстройства настроения.
Поведенческие вмешательства . Я не особо упоминал об этом, учитывая фокус на биологической стороне нейронауки, но психиатрия и психология, конечно, разработали широкий репертуар поведенческих вмешательств за 20-й век; само собой разумеется, что ИИ может ускорить и их, как разработку новых методов, так и помощь пациентам в соблюдении существующих методов. В более широком смысле, идея «коуча ИИ», который всегда помогает вам стать лучшей версией себя, который изучает ваши взаимодействия и помогает вам научиться быть более эффективным, кажется очень многообещающей.

Я предполагаю, что эти четыре пути прогресса, работая вместе, как и в случае с физическими заболеваниями, будут на пути к излечению или профилактике большинства психических заболеваний в течение следующих 100 лет, даже если ИИ не будет задействован, и, таким образом, могут быть разумно завершены за 5-10 лет, ускоренных ИИ. Конкретно, я предполагаю, что произойдет что-то вроде:

Большинство психических заболеваний, вероятно, можно вылечить . Я не эксперт в области психиатрических заболеваний (моё время в нейробиологии было потрачено на создание зондов для изучения небольших групп нейронов), но я предполагаю, что такие заболевания, как ПТСР, депрессия, шизофрения, наркомания и т. д., можно выяснить и очень эффективно лечить с помощью некоторой комбинации четырёх направлений, указанных выше. Ответом, скорее всего, будет некоторая комбинация «что-то пошло не так биохимически» (хотя это может быть очень сложным) и «что-то пошло не так с нейронной сетью на высоком уровне». То есть, это вопрос системной нейробиологии — хотя это не отрицает влияние поведенческих вмешательств, обсуждавшихся выше. Инструменты для измерения и вмешательства, особенно у живых людей, по-видимому, приведут к быстрой итерации и прогрессу.
Состояния, которые являются очень «структурными», могут быть более сложными, но не невозможными . Есть некоторые доказательства того, что психопатия связана с очевидными нейроанатомическими различиями — что некоторые области мозга просто меньше или менее развиты у психопатов. Также считается, что психопаты лишены эмпатии с раннего возраста; что бы ни отличалось в их мозге, оно, вероятно, всегда было таким. То же самое может быть верно и для некоторых интеллектуальных нарушений, а возможно, и для других состояний. Реструктуризация мозга звучит сложно, но это также кажется задачей с высокой отдачей для интеллекта. Возможно, есть какой-то способ уговорить взрослый мозг перейти в более раннее или более пластичное состояние, в котором его можно будет перестроить. Я очень не уверен, насколько это возможно, но мой инстинкт подсказывает мне с оптимизмом смотреть на то, что ИИ может здесь изобрести.
Эффективная генетическая профилактика психических заболеваний кажется возможной . Большинство психических заболеваний частично наследуются , и исследования ассоциаций по всему геному начинают набирать обороты по выявлению соответствующих факторов, которых часто много. Вероятно, можно будет предотвратить большинство этих заболеваний с помощью скрининга эмбрионов, как и в случае с физическими заболеваниями. Одно отличие заключается в том, что психиатрические заболевания с большей вероятностью являются полигенными (вносят вклад многие гены), поэтому из-за сложности повышается риск неосознанного отбора против положительных черт, которые коррелируют с заболеванием . Как ни странно, в последние годы исследования GWAS, похоже, предполагают, что эти корреляции могли быть преувеличены. В любом случае, нейронаука, ускоренная ИИ, может помочь нам разобраться в этих вещах. Конечно, скрининг эмбрионов на сложные черты поднимает ряд социальных проблем и будет спорным, хотя я предполагаю, что большинство людей поддержали бы скрининг на тяжелые или изнурительные психические заболевания.
Повседневные проблемы, которые мы не считаем клиническими заболеваниями, также будут решены . У большинства из нас есть повседневные психологические проблемы, которые обычно не считаются доходящими до уровня клинических заболеваний. Некоторые люди быстро впадают в гнев, другим трудно сосредоточиться или они часто сонливы, некоторые испытывают страх или беспокойство или плохо реагируют на изменения. Сегодня уже существуют препараты, помогающие, например, с бдительностью или сосредоточенностью (кофеин, модафинил, риталин), но, как и во многих других предыдущих областях, вероятно, будет возможно гораздо больше. Вероятно, существует гораздо больше таких препаратов, которые еще не были открыты, и могут также быть совершенно новые методы вмешательства, такие как целевая световая стимуляция (см. оптогенетику выше) или магнитные поля. Учитывая, сколько лекарств мы разработали в 20 веке, которые настраивают когнитивные функции и эмоциональное состояние, я очень оптимистично настроен по поводу «сжатого 21-го», когда каждый может заставить свой мозг вести себя немного лучше и иметь более полноценный повседневный опыт.
Человеческий базовый опыт может быть намного лучше . Сделав еще один шаг вперед, многие люди пережили необычайные моменты откровения, творческого вдохновения, сострадания, удовлетворения, трансцендентности, любви, красоты или медитативного покоя. Характер и частота этих переживаний сильно различаются от человека к человеку и у одного и того же человека в разное время, а также иногда могут быть вызваны различными препаратами (хотя часто с побочными эффектами). Все это говорит о том, что «пространство того, что возможно испытать», очень широко и что большая часть жизни людей может состоять из этих необычайных моментов. Вероятно, также возможно улучшить различные когнитивные функции по всем направлениям. Это, возможно, нейробиологическая версия «биологической свободы» или «увеличенной продолжительности жизни».

Одна из тем, которая часто возникает в научно-фантастических описаниях ИИ, но которую я намеренно не обсуждаю здесь, — это «загрузка разума», идея захвата шаблона и динамики человеческого мозга и воплощения их в программном обеспечении. Эта тема могла бы стать темой отдельного эссе, но достаточно сказать, что хотя я считаю, что загрузка почти наверняка возможна в принципе, на практике она сталкивается со значительными технологическими и социальными проблемами, даже с мощным ИИ, которые, вероятно, выводят ее за рамки обсуждаемого нами 5-10-летнего окна.

Подводя итог, можно сказать, что нейробиология, ускоренная ИИ, вероятно, значительно улучшит методы лечения или даже излечит большинство психических заболеваний, а также значительно расширит «когнитивную и умственную свободу» и когнитивные и эмоциональные способности человека. Это будет столь же радикально, как и улучшения в физическом здоровье, описанные в предыдущем разделе. Возможно, мир не будет заметно отличаться снаружи, но мир, который воспринимают люди, будет намного лучше и гуманнее, а также местом, которое предлагает больше возможностей для самореализации. Я также подозреваю, что улучшение психического здоровья смягчит множество других общественных проблем, включая те, которые кажутся политическими или экономическими.

3. Экономическое развитие и бедность

Предыдущие два раздела посвящены разработке новых технологий, которые лечат болезни и улучшают качество жизни человека. Однако очевидный вопрос, с гуманитарной точки зрения, звучит так: «будут ли у всех доступ к этим технологиям?»

Одно дело разработать лекарство от болезни, другое дело искоренить болезнь в мире. В более широком смысле, многие существующие вмешательства в здравоохранение еще не были применены повсеместно в мире, и в этом отношении то же самое относится к (немедицинским) технологическим усовершенствованиям в целом. Другими словами, уровень жизни во многих частях мира по-прежнему крайне низок: ВВП на душу населения составляет ~2000 долларов в странах Африки к югу от Сахары по сравнению с ~75000 долларов в Соединенных Штатах. Если ИИ еще больше увеличит экономический рост и качество жизни в развитом мире, мало помогая развивающемуся миру, мы должны рассматривать это как ужасный моральный провал и пятно на подлинных гуманитарных победах в предыдущих двух разделах. В идеале мощный ИИ должен помочь развивающемуся миру догнать развитый мир, даже если он революционизирует последний.

Я не так уверен, что ИИ может решить проблемы неравенства и экономического роста, как в том, что он может изобрести фундаментальные технологии, потому что технология имеет такую очевидную высокую отдачу от интеллекта (включая способность обходить сложности и отсутствие данных), тогда как экономика включает в себя множество ограничений со стороны людей, а также большую дозу внутренней сложности. Я несколько скептически отношусь к тому, что ИИ может решить знаменитую « проблему социалистического расчета » ^23, и я не думаю, что правительства будут (или должны) передавать свою экономическую политику такому субъекту, даже если он может это сделать. Есть также проблемы, такие как то, как убедить людей принимать эффективные методы лечения, к которым они могут относиться с подозрением.

Проблемы, с которыми сталкивается развивающийся мир, еще больше усложняются всепроникающей коррупцией как в частном, так и в государственном секторе. Коррупция создает порочный круг: она усугубляет бедность , а бедность, в свою очередь, порождает еще большую коррупцию. Планы экономического развития, основанные на ИИ, должны учитывать коррупцию, слабые институты и другие очень человеческие проблемы.

Тем не менее, я вижу существенные причины для оптимизма. Болезни были искоренены, и многие страны перешли из бедных в богатые, и очевидно, что решения, связанные с этими задачами, демонстрируют высокую отдачу от интеллекта (несмотря на человеческие ограничения и сложность). Поэтому ИИ, вероятно, может делать их лучше, чем они делаются сейчас. Также могут быть целевые вмешательства, которые обходят человеческие ограничения, и на которых ИИ мог бы сосредоточиться. Но что еще важнее, мы должны попытаться. И компании ИИ, и политики развитых стран должны будут внести свой вклад, чтобы гарантировать, что развивающийся мир не останется в стороне; моральный императив слишком велик. Поэтому в этом разделе я продолжу излагать оптимистичные доводы, но помните везде, что успех не гарантирован и зависит от наших коллективных усилий.

Ниже я высказываю некоторые предположения о том, как, по моему мнению, могут развиваться события в развивающихся странах через 5–10 лет после разработки мощного ИИ:

Распределение медицинских вмешательств . Область, в которой я, пожалуй, наиболее оптимистичен, — это распределение медицинских вмешательств по всему миру. Болезни фактически были искоренены с помощью кампаний «сверху вниз»: оспа была полностью ликвидирована в 1970-х годах, а полиомиелит и дракункулез почти искоренены, при этом ежегодно регистрируется менее 100 случаев. Математически сложное эпидемиологическое моделирование играет активную роль в кампаниях по искоренению болезней, и кажется весьма вероятным, что есть возможность для более умных, чем человек, систем ИИ, чтобы делать это лучше, чем люди. Логистика распределения, вероятно, также может быть значительно оптимизирована. Одна вещь, которую я узнал как один из первых доноров GiveWell , заключается в том, что некоторые благотворительные организации в области здравоохранения намного эффективнее других; есть надежда, что ускоренные усилия ИИ будут еще эффективнее. Кроме того, некоторые биологические достижения на самом деле значительно упрощают логистику распределения: например, малярию было трудно искоренить, потому что она требует лечения каждый раз, когда человек заражается; вакцина, которую нужно вводить только один раз, значительно упрощает логистику (и такие вакцины от малярии на самом деле разрабатываются в настоящее время ). Возможны даже более простые механизмы распространения: некоторые болезни в принципе можно искоренить, нацелившись на их животных-носителей, например, выпустив комаров, зараженных бактерией, которая блокирует их способность переносить болезнь (которые затем заражают всех других комаров) или просто используя генные драйвыуничтожить комаров. Для этого требуется одно или несколько централизованных действий, а не скоординированная кампания, которая должна индивидуально лечить миллионы. В целом, я думаю, что 5-10 лет — это разумный срок для того, чтобы значительная часть (возможно, 50%) преимуществ для здоровья, обеспечиваемых ИИ, распространилась даже на самые бедные страны мира. Хорошей целью может быть то, чтобы развивающийся мир через 5-10 лет после появления мощного ИИ был по крайней мере существенно здоровее, чем развитый мир сегодня, даже если он продолжит отставать от развитого мира. Достижение этого, конечно, потребует огромных усилий в области глобального здравоохранения, благотворительности, политической пропаганды и многих других усилий, в которых должны помочь как разработчики ИИ, так и политики.
Экономический рост . Могут ли развивающиеся страны быстро догнать развитые страны не только в здравоохранении, но и по всем направлениям экономики? Для этого есть некоторые прецеденты: в последние десятилетия 20-го века несколько стран Восточной Азиидостигли устойчивых темпов роста реального ВВП в год на уровне ~10%, что позволило им догнать развитый мир. Планировщики человеческой экономики приняли решения, которые привели к этому успеху, не путем прямого контроля над целыми экономиками, а путем использования нескольких ключевых рычагов (таких как промышленная политика экспортно-ориентированного роста и сопротивление искушению полагаться на богатство природных ресурсов); вполне вероятно, что «министры финансов и центральные банкиры ИИ» могли бы повторить или превзойти это 10% достижение. Важный вопрос заключается в том, как заставить правительства развивающихся стран принять их, уважая при этом принцип самоопределения — некоторые могут быть в восторге от этого, но другие, вероятно, будут настроены скептически. С оптимистичной стороны, многие из вмешательств в здравоохранение в предыдущем пункте, вероятно, органически увеличат экономический рост: искоренение СПИДа/малярии/паразитических червей окажет преобразующее воздействие на производительность, не говоря уже об экономических выгодах, которые некоторые из вмешательств в области нейробиологии (такие как улучшение настроения и концентрации) дадут как в развитых, так и в развивающихся странах. Наконец, немедицинские технологии, ускоренные ИИ (такие как энергетические технологии, транспортные беспилотники, улучшенные строительные материалы, улучшенная логистика и распределение и т. д.), могут просто естественным образом проникнуть в мир; например, даже мобильные телефоны быстро проникли в страны Африки к югу от Сахары через рыночные механизмы, без необходимости в филантропических усилиях. С более негативной стороны, хотя ИИ и автоматизация имеют много потенциальных преимуществ, они также создают проблемы для экономического развития, особенно для стран, которые еще не индустриализировались. Поиск способов обеспечения того, чтобы эти страны все еще могли развивать и улучшать свою экономику в эпоху растущей автоматизации, является важной задачей для экономистов и политиков. В целом, сценарий мечты — возможно, цель, к которой следует стремиться — был бы 20% годовых темпов роста ВВП в развивающихся странах, при этом по 10% приходилось бы на экономические решения с поддержкой ИИ и естественное распространение технологий, ускоренных ИИ, включая, помимо прочего, здравоохранение. Если это будет достигнуто, то за 5-10 лет страны Африки к югу от Сахары достигнут текущего ВВП на душу населения Китая, в то время как большая часть остального развивающегося мира поднимется до уровней, превышающих текущий ВВП США. Опять же,Это сценарий мечты, а не то, что происходит по умолчанию: это то, что мы все должны сделать вместе, чтобы сделать его более вероятным.
Продовольственная безопасность ^24. Достижения в области технологий выращивания сельскохозяйственных культур, такие как лучшие удобрения и пестициды, большая автоматизация и более эффективное землепользование, резко увеличили урожайность сельскохозяйственных культур в 20 веке, спасая миллионы людей от голода. Генная инженерия в настоящее время еще больше улучшает многие сельскохозяйственные культуры. Нахождение еще большего количества способов сделать это, а также сделать сельскохозяйственные цепочки поставок еще более эффективными, может дать нам вторую Зеленую революцию , основанную на ИИ , помогая сократить разрыв между развивающимся и развитым миром.
Смягчение последствий изменения климата . Изменение климата будет ощущаться гораздо сильнее в развивающемся мире, что будет препятствовать его развитию. Мы можем ожидать, что ИИ приведет к усовершенствованиям в технологиях, которые замедлят или предотвратят изменение климата, от удаления атмосферного углерода и технологий чистой энергии до выращенного в лабораторных условиях мяса , которое снизит нашу зависимость от интенсивного использования углерода в животноводстве. Конечно, как обсуждалось выше, технологии — не единственное, что ограничивает прогресс в области изменения климата, — как и во всех других вопросах, обсуждаемых в этом эссе, важны человеческие общественные факторы. Но есть веские основания полагать, что исследования с использованием ИИ дадут нам средства сделать смягчение последствий изменения климата гораздо менее затратным и разрушительным, что сделает многие возражения спорными и освободит развивающиеся страны для достижения большего экономического прогресса.
Неравенство внутри стран . Я в основном говорил о неравенстве как о глобальном явлении (которое, я думаю, является его наиболее важным проявлением), но, конечно, неравенство существует и внутри стран. С передовыми вмешательствами в здравоохранение и особенно радикальным увеличением продолжительности жизни или препаратами для улучшения когнитивных способностей, безусловно, возникнут обоснованные опасения, что эти технологии предназначены «только для богатых». Я более оптимистичен в отношении неравенства внутри стран, особенно в развитом мире, по двум причинам. Во-первых, рынки функционируют лучше в развитом мире, и рынки, как правило, хорошо снижают стоимость дорогостоящих технологий с течением времени25 ^. Во-вторых, политические институты развитого мира более отзывчивы к своим гражданам и имеют большую государственную способность выполнять программы всеобщего доступа, и я ожидаю, что граждане будут требовать доступа к технологиям, которые так радикально улучшают качество жизни. Конечно, не предопределено, что такие требования будут выполнены, и вот еще одно место, где мы коллективно должны сделать все возможное, чтобы обеспечить справедливое общество. Существует отдельная проблема неравенства благосостояния (в отличие от неравенства доступа к спасающим и улучшающим жизнь технологиям), которая представляется более сложной и которую я обсуждаю в разделе 5.
Проблема отказа . Одной из проблем как в развитых, так и в развивающихся странах является отказ людей от преимуществ, предоставляемых ИИ (аналогично антипрививочному движению или движениям луддитов в целом). Могут возникнуть плохие циклы обратной связи, когда, например, люди, которые меньше всего способны принимать правильные решения, отказываются от тех самых технологий, которые улучшают их способность принимать решения, что приводит к постоянно увеличивающемуся разрыву и даже созданию антиутопического низшего класса (некоторые исследователи утверждают, что это подорвет демократию , эту тему я обсужу подробнее в следующем разделе). Это снова наложит моральный позор на позитивные достижения ИИ. Это сложная для решения проблема, поскольку я не думаю, что принуждать людей этически нормально, но мы можем, по крайней мере, попытаться повысить научное понимание людей — и, возможно, сам ИИ может нам в этом помочь. Один обнадеживающий признак заключается в том, что исторически антитехнологические движения были больше лаем, чем укусами: ругань против современных технологий популярна, но большинство людей в конечном итоге принимают их, по крайней мере, когда это вопрос индивидуального выбора. Индивидуумы, как правило, принимают большинство медицинских и потребительских технологий, в то время как технологии, которые действительно затруднены, такие как ядерная энергетика, как правило, являются коллективными политическими решениями.

В целом, я настроен оптимистично относительно быстрой доставки биологических достижений ИИ людям в развивающемся мире. Я надеюсь, хотя и не уверен, что ИИ также может обеспечить беспрецедентные темпы экономического роста и позволить развивающемуся миру по крайней мере превзойти то, где сейчас находится развитый мир. Я обеспокоен проблемой «отказа» как в развитом, так и в развивающемся мире, но подозреваю, что со временем она исчезнет, и что ИИ может помочь ускорить этот процесс. Это будет не идеальный мир, и те, кто отстает, не смогут полностью догнать, по крайней мере, в первые несколько лет. Но приложив большие усилия с нашей стороны, мы сможем заставить вещи двигаться в правильном направлении — и быстро. Если мы это сделаем, мы сможем внести по крайней мере авансовый платеж за обещания достоинства и равенства, которые мы должны каждому человеку на земле.

4. Мир и управление

Предположим, что все в первых трех разделах идет хорошо: болезни, бедность и неравенство значительно сокращаются, а базовый уровень человеческого опыта существенно повышается. Из этого не следует, что все основные причины человеческих страданий решены. Люди по-прежнему представляют угрозу друг другу . Хотя существует тенденция технологического совершенствования и экономического развития , ведущая к демократии и миру , это очень неустойчивая тенденция с частыми (и недавними ) откатами назад. На заре 20-го века люди думали, что оставили войну позади; затем произошли две мировые войны. Тридцать лет назад Фрэнсис Фукуяма писал о « конце истории » и окончательном триумфе либеральной демократии; этого еще не произошло. Двадцать лет назад американские политики считали, что свободная торговля с Китаем заставит его либерализоваться по мере того, как он станет богаче; этого очень многого не произошло, и теперь мы, похоже, движемся ко второй холодной войне с возрождающимся авторитарным блоком. И правдоподобные теории предполагают, что интернет-технологии могут на самом деле принести пользу авторитаризму , а не демократии, как изначально считалось (например, в период «Арабской весны»). Кажется важным попытаться понять, насколько мощный ИИ будет пересекаться с этими вопросами мира, демократии и свободы.

К сожалению, я не вижу веских оснований полагать, что ИИ будет преимущественно или структурно продвигать демократию и мир, так же, как я думаю, что он структурно продвигает здоровье людей и борется с нищетой. Человеческий конфликт является враждебным, и ИИ в принципе может помочь как «хорошим парням», так и «плохим парням». Если уж на то пошло, некоторые структурные факторы кажутся тревожными: ИИ, похоже, позволит гораздо лучше вести пропаганду и наблюдение, оба основных инструмента в арсенале автократа. Поэтому нам, как отдельным субъектам, нужно наклонить ситуацию в правильном направлении: если мы хотим, чтобы ИИ поддерживал демократию и права личности, нам придется бороться за этот результат. Я чувствую это даже сильнее, чем международное неравенство: триумф либеральной демократии и политической стабильности не гарантирован, возможно, даже маловероятен, и потребует больших жертв и приверженности со всех наших сторон, как это часто бывало в прошлом.

Я думаю, что проблема состоит из двух частей: международный конфликт и внутренняя структура государств. С международной точки зрения, кажется очень важным, чтобы демократии имели преимущество на мировой арене, когда создается мощный ИИ. Авторитаризм, управляемый ИИ, кажется слишком ужасным, чтобы его рассматривать, поэтому демократии должны иметь возможность устанавливать условия, на которых мощный ИИ приходит в мир, как для того, чтобы избежать подавления авторитариями, так и для предотвращения нарушений прав человека в авторитарных странах.

Мое текущее предположение о том, что наилучшим способом сделать это, является «стратегия согласия» ²⁶ , в которой коалиция демократий стремится получить явное преимущество (пусть даже временное) на мощном ИИ, обеспечивая свою цепочку поставок, быстро масштабируясь и блокируя или задерживая доступ противников к ключевым ресурсам, таким как чипы и полупроводниковое оборудование. Эта коалиция, с одной стороны, использовала бы ИИ для достижения надежного военного превосходства (кнут), в то же время предлагая распространять преимущества мощного ИИ (пряник) среди более широкой группы стран в обмен на поддержку стратегии коалиции по продвижению демократии (это было бы немного аналогично « Атомам для мира »). Коалиция стремилась бы получить поддержку все большего числа стран мира, изолируя наших злейших противников и в конечном итоге поставив их в положение, в котором им будет выгоднее заключить ту же сделку, что и остальной мир: отказаться от конкуренции с демократиями, чтобы получить все преимущества и не сражаться с превосходящим противником.

Если мы сможем сделать все это, у нас будет мир, в котором демократии будут лидировать на мировой арене и будут иметь экономическую и военную мощь, чтобы избежать подрыва, завоевания или саботажа со стороны автократий, и, возможно, смогут превратить свое превосходство в области ИИ в долгосрочное преимущество. Это может привести к «вечному 1991» — миру, в котором демократии будут иметь верх, а мечты Фукуямы будут реализованы. Опять же, этого будет очень трудно достичь, и, в частности, потребуется тесное сотрудничество между частными компаниями ИИ и демократическими правительствами, а также чрезвычайно мудрые решения о балансе между кнутом и пряником.

Даже если все пойдет хорошо, остается вопрос борьбы между демократией и автократией в каждой стране. Очевидно, что трудно предсказать, что здесь произойдет, но у меня есть некоторый оптимизм, что, учитывая глобальную среду, в которой демократии контролируют самый мощный ИИ, ИИ может фактически структурно благоприятствовать демократии во всем мире. В частности, в этой среде демократические правительства могут использовать свой превосходящий ИИ, чтобы выиграть информационную войну: они могут противостоять влиянию и пропагандистским операциям автократий и даже могут создать глобально свободную информационную среду, предоставляя каналы информации и услуги ИИ таким образом, что автократии не имеют технической возможности блокировать или контролировать их. Вероятно, не обязательно доставлять пропаганду, достаточно противостоять вредоносным атакам и разблокировать свободный поток информации. Хотя это и не немедленно, такое равноправное игровое поле имеет хорошие шансы постепенно склонить глобальное управление в сторону демократии по нескольким причинам.

Во-первых, повышение качества жизни в разделах 1-3 должно, при прочих равных условиях, способствовать демократии: исторически так и было, по крайней мере в некоторой степени. В частности, я ожидаю, что улучшение психического здоровья, благополучия и образования повысит демократию, поскольку все три отрицательно коррелируют с поддержкой авторитарных лидеров. В целом люди хотят большего самовыражения, когда удовлетворяются их другие потребности, а демократия, помимо прочего, является формой самовыражения. Напротив, авторитаризм процветает на страхе и обиде.

Во-вторых, есть хороший шанс, что свободная информация действительно подрывает авторитаризм, пока авторитаристы не могут ее цензурировать. И неподцензурный ИИ также может дать людям мощные инструменты для подрыва репрессивных правительств. Репрессивные правительства выживают, отказывая людям в определенном виде общих знаний, не давая им осознать, что «король голый». Например, Срджа Попович , который помог свергнуть правительство Милошевича в Сербии, много писал о методах психологического лишения авторитарных режимов их власти, для разрушения чар и мобилизации поддержки против диктатора. Сверхчеловечески эффективная версия ИИ Поповича (чьи навыки, кажется, имеют высокую отдачу от интеллекта) в кармане каждого, которую диктаторы бессильны заблокировать или цензурировать, могла бы создать ветер в спину диссидентам и реформаторам по всему миру. Повторяю, это будет долгая и затяжная борьба, в которой победа не гарантирована, но если мы правильно спроектируем и построим ИИ, то, по крайней мере, это может быть борьба, в которой сторонники свободы во всем мире получат преимущество.

Как и в случае с нейронаукой и биологией, мы также можем спросить, как все может быть «лучше, чем обычно» — не только как избежать автократии, но и как сделать демократии лучше, чем они есть сегодня. Даже внутри демократий несправедливость случается постоянно. Общества верховенства закона обещают своим гражданам, что все будут равны перед законом и что каждый имеет право на основные права человека, но, очевидно, люди не всегда получают эти права на практике. То, что это обещание хотя бы частично выполняется, делает его предметом гордости, но может ли ИИ помочь нам добиться большего?

Например, может ли ИИ улучшить нашу правовую и судебную систему, сделав решения и процессы более беспристрастными? Сегодня люди в основном беспокоятся в юридических или судебных контекстах, что системы ИИ станут причиной дискриминации , и эти опасения важны и от них нужно защищаться. В то же время жизнеспособность демократии зависит от использования новых технологий для улучшения демократических институтов, а не только от реагирования на риски. По-настоящему зрелое и успешное внедрение ИИ имеет потенциал для снижения предвзятости и более справедливого отношения ко всем.

На протяжении столетий правовые системы сталкивались с дилеммой, что закон стремится быть беспристрастным, но по своей сути субъективен и, таким образом, должен интерпретироваться предвзятыми людьми. Попытка сделать закон полностью механическим не сработала, потому что реальный мир запутан и не всегда может быть описан математическими формулами. Вместо этого правовые системы полагаются на заведомо неточные критерии, такие как « жестокое и необычное наказание » или « совершенно не искупающий социальной значимости », которые затем интерпретируют люди — и часто делают это таким образом, который демонстрирует предвзятость, фаворитизм или произвол. « Умные контракты » в криптовалютах не произвели революцию в праве, потому что обычный код недостаточно умен, чтобы выносить решения по всем интересующим вопросам. Но ИИ может быть достаточно умен для этого: это первая технология, способная выносить широкие, нечеткие суждения повторяемым и механическим способом.

Я не предлагаю буквально заменить судей системами ИИ, но сочетание беспристрастности со способностью понимать и обрабатывать запутанные ситуации реального мира, кажется , должно иметь некоторые серьезные положительные применения в праве и правосудии. По крайней мере, такие системы могли бы работать вместе с людьми в качестве помощи в принятии решений. Прозрачность была бы важна в любой такой системе, и зрелая наука ИИ могла бы предположительно обеспечить ее: процесс обучения для таких систем мог бы быть тщательно изучен, и передовые методы интерпретируемости могли бы использоваться, чтобы заглянуть внутрь окончательной модели и оценить ее на предмет скрытых предубеждений таким образом, который просто невозможен с людьми. Такие инструменты ИИ также могли бы использоваться для мониторинга нарушений основных прав в судебном или полицейском контексте, делая конституции более самоподдерживающимися.

Аналогичным образом, ИИ может использоваться как для агрегации мнений, так и для достижения консенсуса среди граждан, разрешения конфликтов, поиска общей позиции и поиска компромисса. Некоторые ранние идеи в этом направлении были реализованы в рамках проекта вычислительной демократии , включая сотрудничество с Anthropic . Более информированные и вдумчивые граждане, очевидно, укрепят демократические институты.

Также существует явная возможность использования ИИ для оказания государственных услуг, таких как медицинские пособия или социальные услуги, которые в принципе доступны всем, но на практике часто серьезно отсутствуют и в некоторых местах хуже, чем в других. Сюда входят медицинские услуги, DMV, налоги, социальное обеспечение, соблюдение строительных норм и т. д. Наличие очень вдумчивого и информированного ИИ, чья работа заключается в том, чтобы предоставить вам все, на что вы по закону имеете право от правительства, понятным вам способом, а также который также помогает вам соблюдать часто запутанные правительственные правила, было бы большим делом. Увеличение возможностей государства помогает выполнить обещание равенства перед законом и укрепляет уважение к демократическому управлению. Плохо реализованные услуги в настоящее время являются основным фактором цинизма в отношении правительства ²⁷ .

Все это довольно расплывчатые идеи, и, как я сказал в начале этого раздела, я не так уверен в их осуществимости, как в достижениях в области биологии, нейронауки и борьбы с бедностью. Они могут быть нереалистично утопичными. Но важно иметь амбициозное видение, быть готовым мечтать по-крупному и пробовать что-то новое. Видение ИИ как гаранта свободы, индивидуальных прав и равенства перед законом — слишком мощное видение, чтобы за него не бороться. Государство 21-го века с поддержкой ИИ могло бы стать как более сильным защитником индивидуальной свободы, так и маяком надежды, который поможет сделать либеральную демократию формой правления, которую захочет принять весь мир.

5. Работа и смысл

Даже если все в предыдущих четырех разделах пойдет хорошо — мы не только снизим заболеваемость, бедность и неравенство, но и либеральная демократия станет доминирующей формой правления, а существующие либеральные демократии станут лучшими версиями самих себя — по крайней мере один важный вопрос все равно останется. «Прекрасно, что мы живем в таком технологически продвинутом мире, а также в справедливом и порядочном мире», — может возразить кто-то, — «но если ИИ будет делать все, как люди будут иметь смысл? И если на то пошло, как они будут выживать экономически?».

Я думаю, что этот вопрос сложнее остальных. Я не имею в виду, что я обязательно более пессимистичен по отношению к нему, чем к другим вопросам (хотя я вижу проблемы). Я имею в виду, что он более размыт и его сложнее предсказать заранее, потому что он касается макроскопических вопросов о том, как организовано общество, которые, как правило, разрешаются только со временем и децентрализованно. Например, исторические общества охотников-собирателей могли вообразить, что жизнь бессмысленна без охоты и различных видов религиозных ритуалов, связанных с охотой, и могли вообразить, что наше сытое технологическое общество лишено цели. Они также могли не понимать, как наша экономика может обеспечить всех или какую функцию люди могут с пользой выполнять в механизированном обществе.

Тем не менее, стоит сказать хотя бы несколько слов, помня при этом, что краткость этого раздела вовсе не следует воспринимать как признак того, что я не отношусь к этим вопросам серьезно, — напротив, это признак отсутствия четких ответов.

Что касается смысла, я думаю, что весьма вероятной ошибкой будет полагать, что задачи, которые вы выполняете, бессмысленны просто потому, что ИИ может сделать их лучше. Большинство людей не являются лучшими в мире ни в чем, и, похоже, это их не особенно беспокоит. Конечно, сегодня они все еще могут вносить свой вклад через сравнительное преимущество и могут извлекать смысл из экономической ценности, которую они производят, но людям также очень нравятся занятия, которые не создают никакой экономической ценности. Я провожу много времени, играя в видеоигры, плавая, гуляя на улице и общаясь с друзьями, и все это не создает никакой экономической ценности. Я могу потратить день, пытаясь стать лучше в видеоигре или быстрее въехать на велосипеде в гору, и для меня не имеет значения, что кто-то где-то намного лучше в этих вещах. В любом случае, я думаю, что смысл в основном исходит из человеческих отношений и связей, а не из экономического труда. Людям действительно нужно чувство выполненного долга, даже чувство соревнования, и в мире после ИИ вполне возможно будет потратить годы на попытки выполнить какую-то очень сложную задачу со сложной стратегией, подобно тому, что люди делают сегодня, когда приступают к исследовательским проектам, пытаются стать голливудскими актерами или основывают компании ^28. Факты о том, что (а) ИИ где-то в принципе мог бы выполнить эту задачу лучше, и (б) эта задача больше не является экономически вознаграждаемым элементом мировой экономики, не кажутся мне особенно важными.

Экономическая часть на самом деле кажется мне более сложной, чем смысловая. Под «экономической» в этом разделе я подразумеваю возможную проблему, что большинство или все люди не смогут внести значимый вклад в достаточно развитую экономику, управляемую ИИ. Это более макропроблема, чем отдельная проблема неравенства, особенно неравенства в доступе к новым технологиям, которую я обсуждал в разделе 3.

Прежде всего, в краткосрочной перспективе я согласен с аргументами о том, что сравнительное преимущество продолжит поддерживать людей релевантными и фактически повышать их производительность, и может даже в некотором роде уравнять игровое поле между людьми . Пока ИИ лучше только в 90% заданной работы, остальные 10% приведут к тому, что люди станут сильно заемными, увеличивая компенсацию и фактически создавая кучу новых человеческих рабочих мест, дополняющих и усиливающих то, в чем хорош ИИ, так что «10%» расширятся, чтобы продолжать нанимать почти всех . Фактически, даже если ИИ может делать 100% вещей лучше, чем люди, но он остается неэффективным или дорогим в некоторых задачах, или если ресурсы, вкладываемые в людей и ИИ, существенно различаются, то логика сравнительного преимущества продолжает применяться. Одной из областей, в которой люди, вероятно, будут сохранять относительное (или даже абсолютное) преимущество в течение значительного времени, является физический мир. Таким образом, я думаю, что человеческая экономика может продолжать иметь смысл даже немного дальше точки, где мы достигнем «страны гениев в центре обработки данных».

Однако я думаю, что в долгосрочной перспективе ИИ станет настолько широко эффективным и настолько дешевым, что это больше не будет применимо. В этот момент наша текущая экономическая структура больше не будет иметь смысла, и возникнет необходимость в более широком общественном обсуждении того, как должна быть организована экономика.

Хотя это может показаться безумным, факт в том, что цивилизация успешно справлялась с крупными экономическими сдвигами в прошлом: от охоты и собирательства к земледелию, от земледелия к феодализму и от феодализма к индустриализму. Я подозреваю, что понадобится что-то новое и странное, и что это то, что никто сегодня не предвидел. Это может быть так же просто, как большой всеобщий базовый доход для всех, хотя я подозреваю, что это будет лишь небольшой частью решения. Это может быть капиталистическая экономика систем ИИ, которые затем выдают ресурсы (огромные их количества, поскольку общий экономический пирог будет гигантским) людям на основе некоторой вторичной экономики того, что системы ИИ считают целесообразным вознаграждать в людях (на основе некоторого суждения, в конечном счете выведенного из человеческих ценностей). Возможно, экономика работает на баллах Ваффи . Или, возможно, люди все же продолжат быть экономически ценными, каким-то образом, не предусмотренным обычными экономическими моделями. Все эти решения имеют массу возможных проблем, и невозможно узнать, будут ли они иметь смысл без множества итераций и экспериментов. И как и в случае с некоторыми другими вызовами, нам, вероятно, придется бороться, чтобы получить здесь хороший результат: эксплуататорские или антиутопические направления также, очевидно, возможны и должны быть предотвращены. Гораздо больше можно написать об этих вопросах, и я надеюсь сделать это в более позднее время.

Подведение итогов

С помощью различных тем выше я попытался изложить видение мира, который является одновременно правдоподобным, если все пойдет правильно с ИИ, и намного лучше, чем мир сегодня. Я не знаю, реалистичен ли этот мир, и даже если это так, он не будет достигнут без огромных усилий и борьбы многих смелых и преданных своему делу людей. Каждый (включая компании ИИ!) должен будет внести свой вклад как в предотвращение рисков, так и в полную реализацию преимуществ.

Но это мир, за который стоит бороться. Если все это действительно произойдет за 5–10 лет — победа над большинством болезней, рост биологической и когнитивной свободы, выведение миллиардов людей из нищеты для доступа к новым технологиям, возрождение либеральной демократии и прав человека — я подозреваю, что все, кто это увидит, будут удивлены тем, какое влияние это на них окажет. Я не имею в виду опыт личного получения выгоды от всех новых технологий, хотя это, безусловно, будет потрясающе. Я имею в виду опыт наблюдения за тем, как давний набор идеалов материализуется перед нами всеми одновременно. Я думаю, что многие будут буквально тронуты этим до слез.

Во время написания этого эссе я заметил интересное напряжение. В каком-то смысле изложенное здесь видение крайне радикально: это не то, что почти никто ожидает увидеть в следующем десятилетии, и, вероятно, многим покажется абсурдной фантазией. Некоторые могут даже не посчитать это желательным; оно воплощает ценности и политические решения, с которыми не все согласятся. Но в то же время в этом есть что-то ослепительно очевидное — что-то сверхопределенное — как будто множество различных попыток представить себе хороший мир неизбежно приводят примерно сюда.

В книге Иэна М. Бэнкса « Игрок игр» ²⁹ главный герой — член общества под названием «Культура», которое основано на принципах, мало чем отличающихся от тех, что я изложил здесь, — отправляется в репрессивную милитаристскую империю, в которой лидерство определяется конкуренцией в запутанной боевой игре. Игра, однако, достаточно сложна, чтобы стратегия игрока в ней, как правило, отражала его собственные политические и философские взгляды. Главный герой умудряется победить императора в игре, показывая, что его ценности (ценности Культуры) представляют собой выигрышную стратегию даже в игре, разработанной обществом, основанным на безжалостной конкуренции и выживании сильнейших. В известном посте Скотта Александра содержится тот же тезис — что конкуренция саморазрушительна и, как правило, приводит к обществу, основанному на сострадании и сотрудничестве. « Дуга моральной вселенной » — еще одна похожая концепция.

Я думаю, что ценности Культуры — это выигрышная стратегия, потому что они представляют собой сумму миллиона небольших решений, которые имеют четкую моральную силу и которые, как правило, объединяют всех на одной стороне. С основными человеческими интуициями справедливости, сотрудничества, любопытства и автономии трудно спорить, и они накапливаются таким образом, как наши более разрушительные импульсы часто не накапливаются. Легко утверждать, что дети не должны умирать от болезней, если мы можем их предотвратить, и легко отсюда утверждать, что дети всех людей заслуживают этого права в равной степени. Отсюда нетрудно утверждать, что мы все должны объединиться и применить свой интеллект для достижения этого результата. Мало кто не согласен с тем, что людей следует наказывать за нападения или причинение вреда другим без необходимости, и отсюда не так уж и далеко до идеи, что наказания должны быть последовательными и систематическими для всех людей. Аналогично интуитивно понятно, что люди должны иметь автономию и ответственность за свою собственную жизнь и выбор. Эти простые интуиции, если довести их до логического завершения, в конечном итоге приведут к верховенству закона, демократии и ценностям Просвещения. Если не неизбежно, то, по крайней мере, как статистическая тенденция, это то, куда человечество уже направлялось. ИИ просто дает возможность доставить нас туда быстрее — сделать логику более жесткой, а пункт назначения — более ясным.

Тем не менее, это нечто трансцендентной красоты. У нас есть возможность сыграть небольшую роль в том, чтобы это стало реальностью.

Выражаем благодарность Кевину Эсвельту, Парагу Маллику, Стюарту Ричи, Мэтту Иглесиасу, Эрику Бриньолфссону, Джиму МакКлейву, Аллану Дефо и многим людям в Anthropic за рецензирование черновиков этого эссе.

Лауреатам Нобелевской премии по химии 2024 года за то, что показали нам весь путь.

Сноски

¹https://allpoetry.com/All-Watched-Over-By-Machines-Of-Loving-Grace ↩
² Я ожидаю, что реакция меньшинства людей будет «это довольно спокойно». Я думаю, что этим людям нужно, выражаясь языком Twitter, «трогать траву». Но что еще важнее, спокойно — это хорошо с точки зрения общества. Я думаю, что есть только определенное количество изменений, которые люди могут выдержать одновременно, и темп, который я описываю, вероятно, близок к пределу того, что общество может воспринять без крайней турбулентности. ↩
³ Я считаю, что AGI — неточный термин, который собрал много научно-фантастического багажа и шумихи. Я предпочитаю «мощный ИИ» или «наука и инженерия экспертного уровня», которые передают то, что я имею в виду, без шумихи. ↩
⁴ В этом эссе я использую «интеллект» для обозначения общей способности решения проблем, которая может применяться в различных областях. Сюда входят такие способности, как рассуждение, обучение, планирование и креативность. Хотя я использую «интеллект» в качестве краткого обозначения в этом эссе, я признаю, что природа интеллекта является сложной и обсуждаемой темой в когнитивной науке и исследованиях ИИ. Некоторые исследователи утверждают, что интеллект — это не единое, унифицированное понятие, а скорее совокупность отдельных когнитивных способностей. Другие утверждают, что существует общий фактор интеллекта (фактор g), лежащий в основе различных когнитивных навыков. Это тема для другого обсуждения. ↩
⁵ Это примерно текущая скорость систем ИИ — например, они могут прочитать страницу текста за пару секунд и написать страницу текста примерно за 20 секунд, что в 10-100 раз превышает скорость, с которой люди могут делать эти вещи. Со временем более крупные модели, как правило, делают это медленнее, но более мощные чипы, как правило, делают это быстрее; на сегодняшний день эти два эффекта примерно компенсированы. ↩
⁶ Это может показаться странной позицией, но осторожные мыслители, такие как Тайлер Коуэн и Мэтт Иглесиас, подняли этот вопрос как серьезную проблему (хотя я не думаю, что они полностью разделяют эту точку зрения), и я не считаю это безумием. ↩
⁷ Наиболее близкая к решению этого вопроса экономическая работа, о которой я знаю, — это работа по «технологиям общего назначения» и « нематериальным инвестициям », которые служат дополнением к технологиям общего назначения. ↩
⁸ Это обучение может включать временное, контекстное обучение или традиционное обучение; оба варианта будут ограничены по скорости физическим миром. ↩
⁹ В хаотической системе небольшие ошибки экспоненциально увеличиваются со временем, так что даже огромное увеличение вычислительной мощности приводит лишь к небольшому улучшению возможности прогнозирования наперед, а на практике ошибка измерения может ухудшить ситуацию еще больше. ↩
¹⁰ Другим фактором, конечно, является то, что сам мощный ИИ может быть потенциально использован для создания еще более мощного ИИ. Я предполагаю, что это может (на самом деле, вероятно, произойдет), но его эффект будет меньше, чем вы можете себе представить, именно из-за «снижающейся предельной отдачи от интеллекта», обсуждаемой здесь. Другими словами, ИИ будет продолжать быстро становиться умнее, но его эффект в конечном итоге будет ограничен факторами, не связанными с интеллектом, и их анализ имеет наибольшее значение для скорости научного прогресса за пределами ИИ. ↩
¹¹ Эти достижения стали для меня источником вдохновения и, возможно, самым ярким из существующих примеров использования ИИ для преобразования биологии. ↩
¹² «Прогресс в науке зависит от новых методов, новых открытий и новых идей, вероятно, именно в таком порядке». — Сидни Бреннер ↩
¹³ Спасибо Парагу Маллику за предложение этой точки зрения. ↩
¹⁴ Я не хотел засорять текст рассуждениями о том, какие конкретные будущие открытия может сделать наука с поддержкой ИИ, но вот мозговой штурм некоторых возможностей:
— Разработка лучших вычислительных инструментов, таких как AlphaFold и AlphaProteo, то есть общая система ИИ, ускоряющая нашу способность создавать специализированные инструменты вычислительной биологии ИИ.
— Более эффективный и избирательный CRISPR.
— Более продвинутые клеточные терапии.
— Прорывы в материаловедении и миниатюризации, ведущие к лучшим имплантируемым устройствам.
— Лучший контроль над стволовыми клетками, дифференциацией клеток и дедифференциацией и, как следствие, способность восстанавливать или изменять форму тканей.
— Лучший контроль над иммунной системой: ее избирательное включение для борьбы с раком и инфекционными заболеваниями и избирательное выключение для борьбы с аутоиммунными заболеваниями. ↩
¹⁵ ИИ, конечно, может также помочь более разумно выбирать, какие эксперименты проводить: улучшать экспериментальный дизайн, узнавать больше из первого раунда экспериментов, чтобы во втором раунде можно было сузить круг вопросов до ключевых и т. д. ↩
¹⁶ Спасибо Мэтью Иглесиасу за предложение этой точки зрения. ↩
¹⁷ Быстро развивающиеся заболевания, такие как штаммы с множественной лекарственной устойчивостью, которые по сути используют больницы как эволюционную лабораторию для постоянного повышения своей устойчивости к лечению, могут оказаться особенно трудно поддающимися лечению и могут стать тем типом вещей, который помешает нам достичь 100% ↩ .
¹⁸ Обратите внимание, что может быть трудно узнать, что мы удвоили продолжительность жизни человека в течение 5-10 лет. Хотя мы могли бы этого достичь, мы можем еще не знать этого в течение периода исследования. ↩
¹⁹ Это одно из мест, где я готов, несмотря на очевидные биологические различия между лечением болезней и замедлением самого процесса старения, вместо этого взглянуть с большего расстояния на статистическую тенденцию и сказать: «Хотя детали различаются, я думаю, что человеческая наука, вероятно, найдет способ продолжить эту тенденцию; в конце концов, плавные тенденции в чем-то сложном обязательно создаются путем сложения очень разнородных компонентов». ↩
²⁰ Например, мне сказали, что увеличение производительности на 1% или даже 0,5% в год будет иметь преобразующее значение в прогнозах, связанных с этими программами. Если идеи, рассматриваемые в этом эссе, сбудутся, рост производительности может быть гораздо больше, чем этот. ↩
²¹ Средства массовой информации любят изображать психопатов с высоким статусом , но среднестатистический психопат, вероятно, является человеком с плохими экономическими перспективами и плохим контролем импульсов, который в конечном итоге проводит значительное время в тюрьме. ↩
²² Я думаю, что это в некоторой степени аналогично тому факту, что многие, хотя, вероятно, и не все, результаты, которые мы получаем из интерпретируемости, будут продолжать быть значимыми, даже если некоторые архитектурные детали наших текущих искусственных нейронных сетей, такие как механизм внимания, будут изменены или заменены каким-либо образом. ↩
²³ Я подозреваю, что это немного похоже на классическую хаотическую систему — окруженную неснижаемой сложностью , которой нужно управлять в основном децентрализованным образом. Хотя, как я скажу позже в этом разделе, более скромные вмешательства могут быть возможны. Контраргумент, высказанный мне экономистом Эриком Бриньолфссоном, заключается в том, что крупные компании (такие как Walmart или Uber) начинают получать достаточно централизованных знаний, чтобы понимать потребителей лучше, чем любой децентрализованный процесс, возможно, заставляя нас пересмотреть идеи Хайека о том, кто имеет лучшие локальные знания. ↩
²⁴ Спасибо Кевину Эсвельту за предложение этой точки зрения. ↩
²⁵ Например, изначально мобильные телефоны были технологией для богатых, но быстро стали очень дешевыми, а улучшения из года в год происходили так быстро, что свели на нет все преимущества покупки «роскошного» мобильного телефона, и сегодня у большинства людей есть телефоны аналогичного качества. ↩
²⁶ Это название будущей статьи RAND, в которой в общих чертах изложена стратегия, которую я описываю. ↩
²⁷ Когда среднестатистический человек думает о государственных учреждениях, он, вероятно, думает о своем опыте работы с DMV, IRS, Medicare или аналогичными функциями. Сделать этот опыт более позитивным, чем он есть сейчас, кажется мощным способом борьбы с необоснованным цинизмом. ↩
²⁸ Действительно, в мире, где главенствует искусственный интеллект, спектр возможных проблем и проектов будет гораздо шире, чем сегодня. ↩
²⁹ Я нарушаю свое собственное правило не делать это о научной фантастике, но я обнаружил, что трудно не ссылаться на нее хотя бы немного. Правда в том, что научная фантастика является одним из наших единственных источников обширных мысленных экспериментов о будущем; я думаю, что она говорит что-то плохое, что она так сильно запуталась с определенной узкой субкультурой. ↩

Источник:
https://darioamodei.com/machines-of-loving-grace