Последнее изобретение человечества - Баррат Джеймс (книги бесплатно без регистрации полные TXT) 📗
Патогены-химеры, убегающие из лабораторий, вызывают в памяти главу 1 и сценарий Busy Child. В случае с УЧИ открытая междисциплинарная конференция в стиле Асиломара действительно могла бы ослабить некоторые источники риска. Участники такой конференции подтолкнули бы друг друга к поиску методов контроля и сдерживания УЧИ. Те, кто предвидит проблемы, могли бы получить консультацию. Масштабная конференция стимулировала бы исследователей из других стран принять в ней участие или созвать собственную аналогичную конференцию. Наконец, этот открытый форум привлек бы внимание публики. Те, кто понимает, что кроме подсчета будущих выгод существуют и серьезные риски, могли бы принять участие в дискуссии хотя бы для того, чтобы сказать политикам, что они не поддерживают ничем не ограниченную разработку УЧИ. Если произойдет, как я предсказываю, ИИ-катастрофа с серьезным ущербом, информированная публика с меньшей вероятностью сочтет себя обманутой или потребует полного отказа от подобных проектов.
Как я уже говорил, в целом я скептически отношусь к планам модифицировать УЧИ в процессе разработки, поскольку считаю, что бесполезно пытаться обуздать исследователей, уверенных, что их конкурентов, в свою очередь, ничто не сдерживает. Однако DARPA и другие крупные спонсоры ИИ могли бы наложить ограничения на получателей своих денег. Чем проще интегрировать эти ограничения в проект, тем выше вероятность, что они будут реализованы.
Одним из ограничений может быть требование о том, что любой мощный ИИ должен содержать компоненты, запрограммированные на «смерть по умолчанию», по аналогии с биологическими системами, в которых система в целом защищается при помощи ликвидации частей на клеточном уровне путем запрограммированной смерти. В биологии это называется апоптозом.
Всякий раз, когда клетка делится, исходная половина получает химический приказ покончить с собой и делает это, если не получает сигнала об отсрочке. Таким путем предотвращается ничем не сдерживаемое размножение клеток, известное как рак. Химические приказы здесь исходят от самой клетки. Клетки нашего тела постоянно делают это; вот почему с кожи постоянно отшелушиваются мертвые клетки. В среднем взрослый человек теряет до 70 млрд клеток в день в результате апоптоза.
Представьте, что процессоры и другие микросхемы аппаратно запрограммированы на гибель. Как только ИИ достигнет некоего рубежа, близкого к прохождению теста Тьюринга, исследователи могут заменить принципиально важные аппаратные элементы на апоптические аналоги. В случае интеллектуального взрыва эти элементы сработают и остановят процесс. Ученые получат возможность вернуть ИИ к докритическому уровню и возобновить исследования. Можно будет постепенно, пошагово повторить развитие или «заморозить» ИИ и подробнейшим образом исследовать. Получается что-то похожее на знакомые всем компьютерные игры, где играющий продвигается вперед, пока его персонаж не погибнет, а затем начинает играть с последнего сохраненного момента.
Несложно понять, что сознающий себя самосовершенствующийся ИИ на пороге человеческого уровня поймет, что в нем имеются апоптические элементы, — это прямо следует из определения самосознания. На дотьюринговой стадии он вряд ли сможет что-то предпринять. И примерно в тот момент, когда ИИ сможет разработать план и придумать, как обойтись без этих самоубийственных элементов, или притвориться мертвым, или еще как-то обмануть своих создателей, — тут-то он и умрет, а экспериментаторы смогут определить, запомнил он или нет, что произошло. Для зарождающегося УЧИ ситуация, наверное, будет выглядеть как какой-то «день сурка», но без обучения.
Можно сделать так, чтобы ИИ зависел от регулярного разрешения на отсрочку, исходящего от человека или комитета, или от другого ИИ, не способного совершенствовать себя и предназначенного исключительно для обеспечения безопасного развития самосовершенствующегося кандидата. Без регулярного «разрешения» апоптический ИИ быстро испустит дух.
Для Роя Стеррита из Университета Ольстера апоптические вычисления — защитное средство широкого профиля, и время его пришло.
Мы уже пытались доказать, что все компьютерные системы должны быть апоптическими, тем более что они встречаются все чаще и становятся все более вездесущими. Этот механизм должен охватывать все уровни взаимодействия с техникой, от данных до услуг, агентов и роботов. Помня недавние громкие скандалы с кредитными картами и пропажей персональных данных в организациях и правительственных учреждениях и не забывая о фантастических сценариях, которые сегодня обсуждаются уже как возможное будущее, запрограммированная смерть по умолчанию становится насущной необходимостью.
Мы стремительно приближаемся ко времени, когда новые автономные компьютерные системы и роботы перед внедрением должны будут проходить испытания, аналогичные этическим и клиническим испытаниям новых лекарств; новые исследования в области апоптиче- ских вычислений и апоптической связи, возможно, смогут гарантировать нам безопасность.
Недавно Омохундро начал разрабатывать проект, имеющий много общего с апоптическими системами. Разработка, получившая название «Строительные леса для безопасного ИИ», призывает к созданию «очень ограниченных, но все же мощных интеллектуальных систем», которые помогали бы в строительстве систем еще более мощных. Первая система помогла бы исследователям решить опасные проблемы в ходе создания более продвинутой системы и т. д. Безопасность первоначальной и последующих систем необходимо будет доказывать математически. Доказательство безопасности будет требоваться для каждой новой системы. А будучи безопасным, мощный ИИ сможет потом помогать в решении реальных практических задач. Омохундро пишет: «Имея инфраструктуру из надежных вычислительных устройств, мы затем работаем с ними, чтобы получить гарантированно безопасные устройства, способные физически воздействовать на реальный мир. Затем мы разрабатываем системы производства новых устройств, способных (доказано!) строить только устройства надежных классов».
Конечная цель — создать разумные устройства, достаточно мощные, чтобы справиться со всеми проблемами неподконтрольных ИСИ или создать «контролируемый мир, удовлетворяющий все же нашим потребностям в свободе и индивидуальности».
Бен Гертцель в качестве решения этой проблемы предлагает элегантную стратегию, не подсмотренную у природы и не заимствованную из инженерного дела. Вспомните, что в гертцелевой системе OpenCog ИИ первоначально «живет» в виртуальном мире. Не исключено, что такая архитектура может решить проблему «воплощения» разума при соблюдении некоторого уровня безопасности. Гертцеля, однако, заботит не безопасность, — он хочет сэкономить. Гораздо дешевле сделать так, чтобы ИИ исследовал и изучал виртуальный мир, чем снабжать его сенсорами и исполнительными устройствами и выпускать для обучения в реальный мир. Для этого потребовалось бы дорогостоящее роботизированное тело
Сможет ли когда-нибудь виртуальный мир обрести достаточную глубину, детальность и другие полезные качества, и Фонд Lifeboat, постоянно подчеркивают экзистенциальный риск ИИ. Они считают, что если существуют меньшие риски, то приоритет их ниже, чем возможность полной гибели человечества. Мы видели, что Курцвейл намекает на «аварии» меньшего масштаба, чем события 11 сентября; специалист по этике Уэндолл Уоллак, цитатой из которого начинается эта глава, тоже предвидит более скромные катастрофы. Я согласен с обеими сторонами — нас ждут и большие, и малые катастрофы. Но какого рода аварии, связанные с ИИ, наиболее вероятны на пути к созданию УЧИ? Напугают ли они нас достаточно, чтобы мы могли увидеть перспективы создания УЧИ в новом, более здравомыслящем свете?
ГЛАВА 15
Кибернетическая экосистема
Следующая война начнется в киберпространстве.
