Машины создания - Дрекслер Эрик (книги полностью бесплатно .TXT) 📗
Среди знатоков нанотехнологии эта угроза стала известна как "проблема серой липкой массы". Хотя массы бесконтрольных репликаторов не обязательно должны быть серыми или липкими, термин "серая липкая" подчёркивает, что репликаторов, способных уничтожить жизнь, может быть меньше в шприце, чем одного вида травяных жучков. Они могли бы быть «высшими» в эволюционном смысле, но это не обязательно сделало бы их ценными. Мы научились любить мир богатым живыми тварями, идеями, и разнообразием, так что не причины ценить серую массу только за то, что она может распространяться. Действительно, если мы предотвратим её размножение, тем самым мы докажем наше эволюционное превосходство.
Угроза серой липкой массы делает одну вещь совершенно очевидной: мы не можем себе позволить определённые виды случайностей с размножающимися ассемблерами.
В главе 5 я описал некоторое из того, что будут делать для нас продвинутые системы ИИ, если мы будет правильно с ними обращаться. В конечном счёте он будут воплощать структуры мысли заставлять их течь со скоростью, с которой не может сравняться ни один мозг млекопитающего. Системы ИИ, которые работают вместе, также как это делают люди, будут способны думать не просто как отдельные люди, но как целые общества. Опять же, эволюция генов оставила жизнь в определённом состоянии. Опять же, эволюция мимов человеческими существами, и в конечном счёте машинами, будут продвигать наши аппаратные средства далеко за пределы жизни. И снова, с точки зрения эволюции это создаёт очевидную угрозу.
Знание может давать власть, а власть может давать знание. В зависимости от своей природы и своих целей, продвинутые системы ИИ могли бы накопить достаточно знания и власти, чтобы сместить нас, если мы не подготовимся должным образом. И также как с репликаторами, простое эволюционное «превосходство» не обязательно сделает победителей лучшими, исчезнувшие, по всем стандартам, кроме грубой способности конкурировать.
Эта угроза делает одну вещь совершенно очевидной: нам необходимо найти способы жить с мыслящими машинами, чтобы сделать их законопослушными гражданами.
Определённые виды репликаторов и систем ИИ могут столкнуть нас с формами технических средств, способных к быстрому эффективному независимому действию. Но новизна этой угрозы, происходящей от самих машин, не должна нас скрывать от нашего взора более традиционную опасность. Репликаторы и системы ИИ могут также служить как великолепные машины власти, если ими свободно завладеют суверенные государства.
На всём протяжении истории, государства разрабатывали технологии, чтобы расширить свою военную мощь, и государства несомненно будут играть доминирующую роль в разработке репликаторов и систем ИИ. Государства могли бы использовать воспроизводящиеся ассемблеры, чтобы строить арсеналы совершенного оружия, быстро, легко и в огромных количествах. Государства могли бы использовать специальные репликаторы, непосредственно, чтобы вести род биологической войны – войны, которая становится намного более практичной с программируемыми, управляемыми компьютерами «микробами». В зависимости от своих способностей, системы ИИ могли бы служить как оружие разработчиков, стратегов и бойцов. Военное финансирование уже поддерживает и молекулярные технологии, и искусственный интеллект.
Государства могли бы использовать ассемблеры или продвинутые системы ИИ, чтобы достигать неожиданных, дестабилизирующих прорывов. Ранее я говорил о причинах, почему нужно ожидать, что приход воспроизводящихся ассемблеров принесёт сравнительно неожиданные изменения: способные быстро размножаться, их могло бы стать огромное количество за считанные дни. Способные делать почти всё что угодно, их можно было бы запрограммировать, чтобы копировать имеющееся оружие, но сделанное из более совершенных материалов. Способные работать со стандартными, хорошо понятными компонентами (атомами), они могли бы неожиданно строить вещи, разработанные в ожидании ассемблерной революции. Эти результаты проектирования с опережением могли бы включать программируемые микробы и другие жуткие новшества. По всем этим причинам, государство, которое сделает ассемблерную революцию, могло бы быстро создать решающую военную силу – если не буквально за ночь, то по крайней мере с беспрецедентной скоростью.
Государства могли бы использовать продвинутые системы ИИ для аналогичных целей. Системы автоматической разработки будут ускорять проектирование с опережением и ускорять разработку ассемблеров. Системы ИИ, способные строить лучшие системы ИИ сделают возможным взрыв способностей с последствиями, которые трудно предвидеть. И системы ИИ и воспроизводящиеся ассемблеры дадут государствам возможность увеличивать свои военные возможности на порядки за короткое время.
Репликаторы могут быть более действенны, чем ядерное оружие: чтобы опустошить Землю бомбами, потребовалось бы массы экзотических технических средств и редких изотопов, но чтобы разрушить всю жизнь с помощью репликаторов, потребовалось бы лишь одно пятнышко, состоящее из обычных элементов. Репликаторы составляют ядерной войне что-то вроде компании как потенциальная причина вымиранию, давая более широкий контекст вымиранию, как моральной обеспокоенности.
Вопреки своему потенциалу как машины разрушения, нанотехнология и системы ИИ будут годиться для более тонких способов использования, чем ядерное оружие. Бомба может только взрывать, но наномашины и системы ИИ могли бы проникать, захватывать, изменять и управлять территорией или миром. Даже самая безжалостная полиция бесполезна для ядерного оружия, но она имеет смысл против безумных идей, наркотиков, убийц или других гибких машин власти. С продвинутой технологией государства будут способны консолидировать свою власть над людьми.
Также как гены, мимы, организмы и технические средства, государства эволюционируют. Их институты распространились (с вариациями) на рост, деление, подражание и завоевание. Государства в войне дерутся как звери, но используя граждан как свои кости, мозг и мускулы. Грядущие технологические прорывы поставят государства перед новыми видами давления и возможностей, благоприятствуя резким изменениям в том, как государства себя ведут. Это естественно даёт основание для озабоченности. Исторически государства выделялись в кровопролитии и угнетении.
В некотором смысле, государство – это просто сумма людей, образующих организационный аппарат: их действия складываются и образуют его действия. Но то же самое можно сказать о собаке и её клетках, хотя собака очевидно нечто большее, чем просто группа клеток. И собаки, и государства – эволюционирующие системы, со структурами, которые влияют на то, как ведут себя их части. На протяжении тысяч лет, собаки во многом эволюционировали так, чтобы доставлять удовольствие людям, само их существование зависело от их способности быть использованными людьми, будь то как поводыри, ищейки или солдаты.
Может казаться парадоксальным сказать, что люди имеют ограниченную власть над государствами: в конце концов, не люди ли стоят за каждым действием государства? Но в демократических странах, главы государств оплакивают недостаток своей власти, представители поклоняются интересам групп, бюрократы ограничены правилами, а избиратели, якобы в ответственности за всё это, всех их посылают к чертям. Государство действует и люди влияют на него, однако никто не может заявить, что контролирует его. В тоталитарных странах аппарат власти имеет традицию, структуру и внутреннюю логику, которая никого не оставляет свободным, ни правителей, ни тех, кем управляют. Даже короли вынуждены действовать способами, ограниченными традициями монархии и прагматикой власти, если они хотят оставаться королями. Государства – это не люди, хотя они состоят из людей.
Вопреки этому, история показывает, что изменение возможно, даже изменение к лучшему. Но изменения всегда движутся из одной полуавтоматической, нечеловеческой системы к другой – одинаково нечеловеческой, но возможно более гуманной. В нашей надежде на улучшения, мы не должны смешивать государства, которые делают человеческое лицо с государствами, которые имеют гуманные институты.
