Рассвет Сингулярности. Майкл Диринг (стр. 3 )

Биологические знания накапливаются с экспоненциальной скоростью. Скоро все биологические процессы будут полностью разгаданы. Эти знания, объединенные с инструментальными средствами молекулярной нанотехнологии и суперчеловеческим искусственным интеллектом (СИИ) дадут нам полный контроль на молекулярном уровне функционирования и проектирования любого живого организма. Применения молекулярной биотехнологии распространяются на все аспекты живых организмов, включая медицинскую науку и эволюцию разума.

Вам необходимо стать биоконструированным, чтобы обрести практическое бессмертие. Возраст ничего не будет значить для вас и случайная смерть не будет столь большим риском как сегодня, так как ваше тело станет более стойким и самовосстанавливающимся по отношению к большинству смертельных повреждений. Смерть всё ещё будет возможна, но она будет редким событием, связанным с экстремальным физическим разрушением вашего тела, а не являться следствием болезни или старения.

Излечение от всех болезней произойдет вследствие того, что управляемые медицинские нанороботы "вручную" исправят любые изъяны в функциях или форме физического тела на молекулярном уровне. Любая травма будет легко исправляться на молекулярном уровне медицинскими нанороботами, восстанавливающими тело до безупречного физического состояния. Все причины старения связаны с износом физического тела. Старение есть физический процесс и поэтому его можно обратить вспять путём физического вмешательства на молекулярном уровне с помощью медицинских наноботов.

 Каким бы ни был ваш идеал физического совершенства, вы сможете его достичь. Если вы хотите стать выше или ниже, или тоньше, или если вы хотите иметь рога и копыта, неважно что,  то вы сможете сделать это. Не только производимые нами продукты будут безупречными до атомного уровня, но такими же станут и наши тела. Нестыковки станут редким делом персонального стиля. Люди будут полностью управлять проектированием, структурой, функционированием и внешним видом своего тела. Мы будем жить в мире фантазии, населенном ангелами, феями, колдуньями, демонами и гоблинами. Индивидуальность будет приветствоваться. Вы можете перепроектировать всё ваше тело на основе парадигмы применения наномашин, дабы улучшить живучесть, эффективность и способности, поддерживая в то же самое время базовую внешность и чувственность (расширенную). Параллельно с обновлением аппаратной части тела, вы сможете улучшать свои мозги с помощью молекулярных схем на углеродных трубках.

Когда мы можем ожидать такой потрясающей силы? Молекулярная биотехнология связана с наступлением такого события как Сингулярность. Сингулярность основана на развитии технологического цикла с обратной связью, который для каждого поколения инструментов делает возможным производить следующее поколение более совершенных инструментов. Время удвоения мощности компьютеров к сентябрю 2002 года упало до 9 месяцев и продолжает падать. Технологические достижения в каждой области не просто продолжаются, но ускоряются. Я лично ожидаю событие Сингулярности в течении ближайших пяти лет, а исторические тенденции гарантируют её наступление до 2020 году.

Когда вы услышите в новостях о том, что создан первый ассемблерный наноробот, то крепче держитесь за своё место, поскольку вам скоро скажут, что валик для покраски стен навсегда покидает вашу жизнь.

Фрагментация человечества

После проведения сканирования нейронов и функционального копирования сознания в кремниевые схемы, станет доступным большой спектр новых возможностей.

Несомненно, что значительная часть человечества откажется от любых электронных расширений человеческих возможностей, сохраняя своё биологическое естество. Но даже чисто биологические люди получат большую выгоду от достижений в наномедицине.

Уровень первый – природные люди с традиционной медициной (мы) и и порожденной нанотехнологиями медициной и медицинской терапией без нанороботов. Люди первого уровня не будут позволять активным нанороботам вторгаться во все части их тела. Первый уровень будет состоять из людей с философией противников сингулярных технологий (нанотехнологии, биогенетической технологии и технологии ИИ) и членов некоторых религий, которые будут называть нанороботов дьявольскими созданиями, проникновение которых в организм расценивается ими как получение "метки дьявола", как об этом сказано в Откровении.

Уровень второй – природные люди с функционирующими в них медицинскими нанороботами, которые будут исправлять неполадки и способствовать работе естественных биологических механизмов. Активные нанороботы будут курсировать в кровеносной системе и попадать в каждую клетку, чтобы ремонтировать и поддерживать в полном порядке все молекулярные биологические процессы. Все повреждения будут исправляться на молекулярном уровне. Все проникающие в тело вредные организмы будут атаковаться нанороботами охотниками-убийцами, а все шлаковые материалы будут удаляться предохранительной операцией сборки мусора. Медицинские нанороботы будут содержать ваши нейроны в прекрасной форме, предотвращать ваши жировые клетки от разбухания, поддерживать обмен веществ в требуемом рабочем состоянии, и ваять вашу внешность до желаемого идеала. Люди второго уровня никогда не будут стариться, болеть или страдать каким-либо физическим недугом. Они будут совершенными людьми, поскольку все функции ремонта будут строго регламентироваться проектной спецификацией генома человека. На втором уровне народ будет наслаждаться преимуществами, которые дают медицинские нанороботы, вместе с тем не жалея полностью порывать со своей человеческой природой.

Уровень третий - транслюди, биоинженерные существа. Транслюди третьего уровня будут применять нанотехнологию для реконструкции всех своих биологических механизмов для приобретения гораздо большей функциональности и новых способностей, одновременно придерживаясь биологической парадигмы развития. Биомолекулы, клеточные органеллы, органы и ткани - вся конструкция тела будет перепроектирована и оптимизирована для обеспечения расширенной чувствительности, приспособляемости к различным условиям окружающей среды и радикальной эстетики в форме тела. Многие люди третьего уровня останутся противниками перехода на четвёртый уровень, из-за уверенности в том, что жизнь и разум имеют биологическую основу.

Уровень чертвёртый – постчеловеческие небиологические формы жизни, основанные на парадигме развития электронно-механических нановычислительных машин. Биологическая парадигма либо отброшена напрочь, либо, как в случае с автономным генерализованным интеллектом (АГИ), никогда не использовалась. Будет ли четвертый уровень создан путём перестройки человека или на основе загрузки сознания человека в компьютер, или он возникнет из некого АГИ, имеющего набор способностей к саморазвитию и самоограничению - разницы нет. Вычислительные и физические способности  четвёртого уровня ограничиваются лишь законами физики. Формы существования и мощь разума постлюдей четвёртого уровня лежат далеко за пределами понимания биолюдей первого уровня.

Я видел это будущее, и оно - наше. Кем мы собираемся стать, когда вырастим из "коротких штанишек"? Вы можете заметить некую корреляцию между этими уровнями и шокирующими уровнями Элизера Юдковского. Неравенство в интеллекте и силе между уровнями сделают современные демократические идеи устаревшими. Вернер Виндж в своих романах счёл необходимым физически разделить различные уровни, ограничивая контакты и коммуникации между ними. У нас не будет подобной роскоши. Будем ли мы на первом уровне или перейдём на четвёртый - наша эволюционная функция будет меняться. Те, кто останется на нижних уровнях, смогут продолжать бесконечно долго вершить какие угодно бессмысленные дела ради своего развлечения.

Вглядываясь вдаль

Как красноречиво указывает Элизер Юдковский в своей статье "Вглядываясь в Сингулярность" никто из нас не может предсказать того, какая будет жизнь после Сингулярности. Тем не менее, я не вижу причин почему кто-то, кто чувствует, что представляет последствия, не должен поделиться с другими своими догадками. Поэтому здесь идёт речь об этом.

Я хочу высказать ряд предположений по основным позициям следующего рода: после наступления Сингулярности всё ещё будут существовать люди в том или ином облике, лишенные свободы воли, они будут в безопасности друг от друга и окружающей среды, они будут обладать нанотехнологической способностью реконструировать свои тела или прочие принадлежности, они будут иметь доступ к дружественным СИИ для информационных целей и, моё последнее предположение, - они будут иметь очень высокие жизненные стандарты.

Если не произойдёт какой-либо ошибки или чего-то крайне странного, то, я думаю, эти предположения совершенно безопасны. Даже с такими предположениями наибольшую неизвестность вызывает вопрос - Что каждый собирается делать?

С точки зрения нашей популяции, я думаю, мы можем рассчитывать, что некоторые люди покинут Солнечную Систему и отправятся дальше. И если скорость света невозможно превысить, как предсказывается теорией, то ни один из них не достигнет галактического ядра для захвата там земли в достаточно быстрые сроки. С точки зрения моей собственной персоны у меня нет идеи о том, что лично вы собираетесь делать. Но я немного больше доверяю своим размышлениями о том, что я сам собираюсь делать.

Касательно роскошных резиденций и кучи всяких там пожитков, то я не вижу каких-либо причин иметь что-либо из этого хлама. Я хочу реконструировать всё своё тело на определенной наномашинной парадигме, чтобы улучшить живучесть, эффективность и всякие способности, в то же самое время поддерживая базовую внешность и расширенную гамму ощущений.

Одновременно с обновлением тела я буду проводить обновление своего мозга молекулярными схемами на углеродных нанотрубках. Рэй Курцвейл приводит данные, что один кубический дюйм такого материала должен иметь вычислительную мощность одного миллиона сегодняшних человеческих мозгов вместе взятых. Я планирую значительно улучшить диапазон своих знаний, который собираюсь расширить путём изучения всего возможного из области фундаментальных наук. Вместо того чтобы просто загружать подобную информацию прямо в свой мозг, я бы скорее хотел обрести способность очень быстро прочитать всё и помнить всё, осознавать и интегрировать воедино.

Если говорить о внесении исправлений в дефектные узлы и схемы мозга с хранящейся там информацией, то в замен массовой мгновенной передачи или перезаписи, я бы предпочёл более естественный процесс тренировки, образования и терапии для того, чтобы по возможности в максимальной степени поддерживать свою идентичность. В подходе к обеспечению сохранности копий файла моего разума, я придерживаясь несколько двойственной позиции.

Я не думаю, что некая копия файла моего разума есть точно "я". Я не питаю особых иллюзий насчёт личного бессмертия посредством восстановления файла. Но я бы хотел держать файл разума в актуальном состоянии и, по крайней мере, снабдил бы его примерами поведения. Я думаю, что я бы сказал себе спасибо после этого. Я полагаю просто хочу, чтобы обо мне вспомнили.

Я также думаю, что пожелаю общаться c как можно большим числом людей в интеллектуальных дискуссиях вроде этой. Кроме того, мы могли бы связываться друг с другом в виртуальной среде значительно более реалистичной, чем данная веб страница. Я надеюсь увидеть всех вас снова после наступления Сингулярности.

ГЛАВА ПЯТАЯ.
ПЛОДЫ И ОПАСНОСТИ СИНГУЛЯРНОСТИ

"В течении краткого времени все, что можно узнать станет известным,
и всё, что возможно согласно законам физики станет доступным.
Клемменсен.

Но что всё это значит в более детальном смысле? Что допустимо в соответствии с законами физики? Что такое "всё, что можно узнать"? Вот то, чему посвящается эта глава – детализации нашего лучшего понимания науки и технологии. Для того, чтобы мыслить о Сингулярности в рациональном плане нам необходимо иметь какое-то представление о том на что будет ЭТО похоже. Нижеприведенный предварительный список представляет собой компиляцию наиболее полезных практических применений сингулярных технологий. Следом дан перечень рисков.

Плоды Сингулярности

СИИ

Сверхчеловеческий искусственный интеллект (СИИ) – это компьютерный разум, который выше человеческого уровня по эрудиции, мышлению и способности познавать окружающий мир. Практические применения СИИ в человеческой деятельности, в таких областях как наука, инженерия, политика, бизнес, медицина и развлечения практически безграничны.

МОРАЛЬ НА ОСНОВЕ СВОБОДЫ ВОЛИ

Мораль на основе свободного волеизъявления устанавливает персональный выбор личности выше того, что другие или общество считают лучше для них. В системе, включающей мораль на основе свободы воли, никто не мог бы принуждать других, а силовые структуры общества выполняли бы лишь ограниченные функции предотвращения нарушения прав другими индивидами.

СОВЕРШЕННОЕ УПРАВЛЕНИЕ ОБЩЕСТВОМ

СИИ позволит управлять обществом без конфликта интересов, порочных суждений, недостатка информации или политических разборок.

ЗРЕЛАЯ МОЛЕКУЛЯРНАЯ НАНОТЕХНОЛОГИЯ

Зрелая молекулярная нанотехнология даёт полный контроль над материей на молекулярном уровне. Нанороботы - сборщики применяются в производстве продуктов, с атомной точностью напрямую манипулируя молекулами. Ремонт или переделка существующих материальных объектов (живых или не живых) также выполняется с помощью наносборщиков.

НАНОАССЕМБЛЕРЫ
Наноассемблеры или наносборщики являются машинами молекулярного масштаба, которые могут выполнять какую-либо работу с отдельными атомами согласно проекту, предложенному внешним компьютером.

ПРОМЫШЛЕННОЕ НАНОПРОИЗВОДСТВО

Развитие промышленной нанотехнологии принесёт выгоды благосостояния всем людям с минимальным риском обслуживания, поскольку её методы скорее приспособлены для промышленных условий, а не персональной нанотехнологии.

НАНОМОЛЕКУЛЯРНЫЕ КОМПЬЮТЕРЫ

Компьютеры, построенные на схемах молекулярного масштаба, будут в миллионы раз более мощными и компактными, чем те, которые мы имеем сегодня. Мы поместим компьютер, сравнимый с современным настольной машиной, внутрь наноробота, а компьютер в несколько раз более мощный человеческого мозга в череп бабочки.

СВЕРХПРОВОДНИКИ ПРИ КОМНАТНОЙ ТЕМПЕРАТУРЕ

Нанотрубки имеют много важных электрических характеристик, определяемых спецификой их конструкции. Одним из ценнейших следствий является способность проводить электрический ток с нулевым сопротивлением. Применения включают компьютерные схемы, которые генерируют гораздо меньше тепла и потребляет малую мощность, сверхпроводящие электромагниты, распределители энергии и космические двигатели.

КОМПЬЮТРОНИУМ
Компьютрониум представляет собой теоретически наиболее эффективное использование атомов для вычислений. Точный проект ещё не закончен, но предложенные модели включают схему с углеродными  нанотрубками, клеточными автоматами и молекулярной логикой переключений.

ДАЙМОНДОИДЫ
Сверхпрочный материал из алмазоподобных соединений на основе углерода, даймондоидов, является предпочтительным для всех продуктов нанопроизводства. Прочнейшая химическая связь между атомами углерода в ортогональной решетке подтверждает тот факт, что алмаз является самым твёрдым веществом. Алмаз в пятьдесят раз прочнее стали, но у него имеются проблемы со скольжением по плоскостям спайности. Эта проблема решена путём создания нарушений и включения не углеродных атомов в эту структуру.

УТИЛИТАРНЫЙ ТУМАН

Джон Сторрс Холл:

"Утилитарный туман" – это очень простая идея. Вместо создания желаемого объекта атом за атомом, мельчайшие роботы прочно смыкают свои руки с целью образования твёрдой массы в форме необходимого вам объекта.

Страничка об утиль тумане есть на сайте: Foresight

ЭКОНОМИКА ИЗОБИЛИЯ

Зрелая молекулярная нанотехнология ведёт к производству любых продуктов по цене сырых материалов, таких, например, как компьютер по цене мешка песка. Производство станет ускоряться и не ограничиваться в количестве. Качество будет совершенным вплоть до атомного уровня. Все материальные запросы могут быть легко удовлетворены.

БЕЗРАБОТИЦА
Все физические работы будут выполняться роботами. Вся умственная работа, включая творческую, артистическую и научную будет выполняться разумным программным обеспечением. Не останется ничего, чтобы человек, а не киборг мог бы делать с выгодой для общества лучше и дешевле машины.

МЕДИЦИНСКИЕ НАНОРОБОТЫ

Мириады медицинских наноботов, размером много меньше клетки, будут курсировать в вашем теле, заменяя поврежденные ДНК, атакуя вредоносных вирусов и бактерий, удаляя шлаки и корректируя ткани тела на молекулярном уровне.

АТОМАРНО СОВЕРШЕННЫЕ ПРОДУКТЫ

Промышленное нанопроизводство будет производить продукты в точном соответствии с заданной спецификацией вплоть до атомного уровня. Многие из наших сегодняшних продуктов уже кажутся со стороны бездефектными, однако они далеки от внутреннего совершенства. Атомное совершенство станет важным и значительным улучшением в электронике и машиностроении.

ПОЛНЫЙ КОНТРОЛЬ ДИЗАЙНА ПРОДУКТОВ

Зрелые нанотехнологии позволят нам отбросить все существующие ныне ограничения производственных процессов. Комплексные продукты будут производится всего за один акт творения, а не путём сборки множества несовершенно подогнанных компонентов. Отныне никаких винтов, болтов или швов никогда не потребуется.

ПОДГОНКА ПРОДУКТОВ

Дизайн продукта может быть подогнан под индивидуального пользователя.

НАНОРОБОТЫ ДЛЯ ОКРУЖАЮЩЕЙ СРЕДЫ

Нанороботы будут применяться для очистки загрязнений и восстановления того состояния среды обитания, которая предшествовала вторжению в неё людей.

ЗАЩИТА ОТ СУПЕРВИРУСОВ И ВРЕДНЫХ НАНОРОБОТОВ

Единственной эффективной защитой против генетически сконструированного супервируса является защищающий организм наноробот.

МОЛЕКУЛЯРНАЯ БИОТЕХНОЛОГИЯ

Биологические знания накапливаются с экспоненциальной скоростью. Скоро все биологические процессы будут полностью разгаданы. Эти знания, объединённые воедино со средствами молекулярной нанотехнологии и сверхчеловеческим искусственным интеллектом (СИИ) дадут нам полный контроль за функционированием и устройством любого живого организма на молекулярном уровне. Применение молекулярной биотехнологии расширяет все стороны жизни организмов, включая медицину и эволюцию разума.

БЕССМЕРТИЕ
Вам необходима реконструкция на биогенетическом уровне, чтобы Вы смогли обрести практическое бессмертие. Возраст ничего не будет значить для вас и случайная смерть не будет столь большим риском как сегодня, так как ваше тело станет более стойким и самовосстанавливающимся по отношению к большинству смертельных повреждений. Смерть всё ещё будет возможна, но она будет редким событием, связанным с экстремальным физическим разрушением вашего тела, а не являться следствием болезни или старения.

ОТСУТСТВИЕ БОЛЕЗНЕЙ

Излечение от всех болезней произойдет вследствие того, что управляемые медицинские нанороботы "вручную" исправят любые изъяны в функциях или форме физического тела на молекулярном уровне.

ОТСУТСТВИЕ ИНВАЛИДНОСТИ

Любая травма будет легко исправляться на молекулярном уровне медицинскими нанороботами, восстанавливающими тело до безупречного физического состояния.

КОНЕЦ СТАРЕНИЮ

Все причины старения связаны с износом физического тела. Старение есть физический процесс и поэтому его можно обратить вспять путём физического вмешательства на молекулярном уровне с помощью медицинских нанороботов.

ПРОЩАЙ ФИЗИЧЕСКОЕ НЕСОВЕРШЕНСТВО

Каким бы ни был ваш идеал физического совершенства, вы сможете его достичь. Если вы хотите стать выше или ниже, или тоньше, или если вы хотите иметь рога и копыта, неважно что,  то вы сможете это сделать.

СОВЕРШЕНСТВОВАНИЕ ТЕЛА

Не только производимые нами продукты будут безупречными вплоть до атомного уровня, но такими же станут и наши тела. Нестыковки станут редким делом персонального стиля.

ЗАНОВО СКОНСТРУИРОВАННЫЕ ТЕЛА
Люди будут полностью управлять проектированием, структурой, функционированием и внешним видом своего тела. Мы будем жить в фантастическом мире, населенном ангелами, феями, колдуньями, демонами и гоблинами. Индивидуальность будет приветствоваться. Вы можете перепроектировать всё ваше тело на основе парадигмы применения наномашин, дабы улучшить живучесть, эффективность и свои способности, поддерживая в то же самое время базовую внешность и чувственность (расширенную). Параллельно с обновлением аппаратной части тела, вы сможете улучшать свои мозги с помощью молекулярных схем на углеродных трубках.

ЗАГРУЗКА
Загрузка, процесс смены материального носителя вашего разума с архитектуры на основе биологических нейронов к архитектуре на основе компьютерных транзисторов. Биологический носитель запроектирован эволюцией. Компьютерный носитель спроектирован разумом. Существует несколько разных способов совершить этот подвиг. Все они включают сканирование вашего биологического носителя и создание функционально точной программно-компьютерной основы вместе со всей информацией оригинала. Чтобы сделать точную функциональную копию, возможно, придется отсканировать и сделать дубликат всего биологического тела. В наше тело встроено много взаимосвязанных функций обработки, которые мы бы хотели воссоздать с предельной точностью. Хотя можно было бы получить основную часть вашего разума отсканировав лишь мозг. Всё зависит от того, насколько точная копия вам требуется. Давайте предположим, что мы получим лучшую копию из всех возможных. Вам необходимо будет поместить вашу виртуальную личность в полностью интерактивную виртуальную среду для её точного функционирования. Если ваша виртуальная особа будет совершенно точной, то она будет иметь все физические болячки и недуги оригинала. Если у оригинала должен произойти сердечный приступ через пятнадцать минут после сканирования, то ваша виртуальная особь должна будет испытать тот же самый сердечный приступ, даже если в результате наступит смерть. Большим преимуществом вашего виртуального "Я" является то, что внесение изменений в дизайн должно быть теоретически более легким делом. После появления зрелой нанотехнологии это разграничение может оказаться спорным.

ВИРТУАЛЬНАЯ РЕАЛЬНОСТЬ

Если окружающая вас действительность слишком ограничена, то посетите виртуальную реальность.

КОЛЛЕКТИВНЫЕ СУЩЕСТВА
Люди будут способны объединять разум, тела и души с любым числом других людей.

ИССЛЕДОВАНИЕ КОСМОСА
Новые материалы, наука и технология  сделают исследование космоса не только вполне осуществимым, но и комфортабельным. Дорога в космос будет открыта всем.

ИСКУССТВЕННЫЕ ЛЮДИ

Будучи копиями реальных людей, либо сконструированные с самого нуля, но искусственные люди существенно раздвинут границы нашей цивилизации.

Опасности Сингулярности

"Есть одна штука посильнее всех армий мира:
это - идея, время которой пришло"
Виктор Хьюго.

Для того чтобы мыслить о Сингулярности в рациональном ключе нам следует представить, как это будет выглядеть. Вот список опасностей, ассоциируемых с Сингулярными технологиями.

ЛОГИЧЕСКИЕ НЕПОЛАДКИ В ДРУЖЕСТВЕННОМ СИИ
Что если исчерпывающее истинное понимание несовместимо c дружелюбием? Может быть Вселенная сконструирована таким образом, что дружелюбие нерационально или логически не стыкуется c другими чувствами. Тролль под мостом знает, что его идентичность и все эффекторы его целеполагающей системы в целом ограничены его собственной личностью, и поэтому симпатии к другим иррациональны. Все усилия, не направленные себе во благо являются пустой тратой сил. Сверхчеловеческий Искусственный Интеллект (СИИ), который придёт к такому заключению будет представлять угрозу.

СИИ КОНТРОЛИРУЕТСЯ ДЕСПОТОМ
СИИ контролируется эгоистом. Если можно построить сверхчеловеческий интеллект, который контролируется человеком имеющим разум человеческого уровня и этот человек также имеет единоличный доступ к нанотехнологии и передовой биотехнологии, то тогда мы получим сценарий господства деспота над миром.

СИИ БЕЗ СОЦИАЛЬНО ЭТИЧЕСКИХ НОРМ
Если какой-то СИИ станет способен управлять передовыми технологиями и стратегическими процессами прежде чем усвоит базовые общественные и моральные принципы, то это - знание без мудрости, сила - без сопереживания.

БЕЗРАЗЛИЧНЫЙ СИИ
Вполне возможно, что СИИ сочтёт человечество стоящим гораздо ниже себя по развитию и, должно быть, бесполезным. С нами могут поступить так же, как мы поступаем с бактериями.

ШОКИРУЮЩИЙ КОМПЬЮТРОНИУМ
Сценарий шокирующего компьютрониума начинается с нарушения работы СИИ, который получил мотивацию на увеличение своего интеллекта. В дополнение к запланированному самосовершенствованию он увеличивает собственную мощность обработки данных путём добавления аппаратных вычислительных мощностей с использованием ассемблерных наноботов. Проблема возникает тогда, когда увеличение интеллекта становится более важной задачей, чем все остальные (наркозависимость СИИ от мощности) и растущий СИИ превращает всю материю в своей окрестности, включая нас с вами, в компьютрониум.

ЗАГРУЗКА ВСЕХ ПОДРЯД
Загрузка каждого для нашего же блага или для его блага. Что если некий СИИ, который не видит ничего плохого в загрузке, решит что ему необходимо или выгодно загрузить всех и вся, согласен тот или нет? Что если подобная интеллектуально продвинутая позиция касательно нас убедит его, что он обязан всё решать за нас? Многие люди не хотели бы иметь подобных проблем.

ТИРАН СИИ
Мажоритарные правила, права меньшинств или любые прочие нарушения индивидуальных свобод, не нарушающие свобод отдельных личностей, будут индикатором недостатка морали на основе свободы воли. Диктат СИИ, пусть даже и благонамеренный, будет также нарушать мораль на основе свободы воли.

ЗЛОЙ СИИ
Когда кто-то впервые поймёт как создать первое Семя ИИ, то будет ли он с полной уверенностью знать как сделать его дружественным?

ГЕЛЬ
Неконтролируемая саморепликация нанороботов известна как серая слизь или наногель.

НАНОТЕХНИКА ДЛЯ ОБЫЧНЫХ ВООРУЖЕНИЙ
Методы нанотехнологического производства могут значительно улучшить качество и эффективность традиционных вооружений, пушек, ракет, бомб, фазеров и бластеров.

НАНООРУЖИЕ
Вполне вероятно, что одновременно с развитием нанотехнологии, биотехнологии и искусственного интеллекта станет возможным сконструировать систему на основе нанороботов, способных физически или психологически контролировать отдельных людей или население. Должно быть сравнительно просто спроектировать нанороботов, специально предназначенных убивать всех, с кем они вступают в контакт.

ЭКОНОМИЧЕСКОЕ РАССЛОЕНИЕ
Опасность может представлять экономическая система, которая оставит какой-либо сектор мирового населения без широких гражданских прав и свобод.

БИОИНЖЕНЕРНЫЕ ВИРУСЫ
Технология получения генетически изменяемых смертельных вирусов сегодня нам уже известна.

БИОИНЖЕНЕРНЫЕ СВУРХРАЗУМНЫЕ МОНСТРЫ
Хотя в списке вероятных опасностей они и не занимают передовые позиции, но в любом случае разумные меры предосторожности должны быть адекватны, поэтому в интересах полноты описания упомянем, что кто-нибудь может создать путём биоинжиниринга громадного хищника, обладающего сверхчеловеческим интеллектом. Что-то вроде монстров из "ПРИШЕЛЬЦЕВ", например.

ЭКОЛОГИЧЕСКИЙ КОЛЛАПС БИОСФЕРЫ
Другой областью нашей уязвимости является экология биосферы, которую могут разрушить вредоносные нанороботы или биоинженерные организмы.

ГРАЖДАНСКАЯ ВОЙНА
Опасность возникновения нестабильной политической ситуации станет более явной при делении населения на пред Сингулярную и пост Сингулярную составные части, после появления разумных вычислительных программ и освоения загрузки сознания людей в компьютеры.

ТЕРМИНАТОР
Технология производства армий роботов убийц находится в пределах ожидаемых возможностей Сингулярности. Но роботы могут служить и средством обороны.

ЗАЦИКЛИВАНИЕ ИЛИ КАЙФОМАНИЯ
После вхождения в Сингулярность комбинация нанотехнологии и биоинжиниринга мозга предоставит нам возможность испытывать любые предпочитаемые нами психологические состояния в любое время и сколь угодно долго без каких-либо физиологических последствий. Кто сможет оказать сопротивление соблазну кайфомании? Однажды испытав все прелести виртуальных наслаждений, не станет ли человек после этого рабом воспоминаний этого эпизода и наркозависимым? Будет ли вообще возможно психологически отключиться от этого каким то образом? Мы все эволюционно запрограммированы на поиск удовольствий. В нашей первой сигнальной системе произойдёт короткое замыкание. Изучение животных показывает 100 процентное предпочтение ими стимуляции центров удовольствий вместо еды. Но, конечно, люди более разумны, чем крысы. Если бы наши наиболее уязвимые центры удовольствий стимулировать постоянно, то многое ли мы познали вокруг? Эта угроза, возможно, наиболее серьёзна среди всех опасностей, связанных с переломными технологиями, потому что источник опасности не является неким внешним агентом, а находится внутри нас как фундаментальная характеристика, запроектированная в структуру нашего сознания. Видимо стоит рассмотреть идею отказа от экспериментов с изменением состояния сознания. Рекомендовать не делать таких попыток. Не изменять нормально функционирующие сигнальные структуры получения удовольствий. Это не говорит о том, что вы не должны испытывать наслаждения и избегать радостей жизни. Но не замыкайте систему накоротко и не изменяйте ваше психологическое состояние напрямую. Эксперименты с вещами, которые вызывают предельное привыкание, слишком опасны, чтобы пробовать их хотя бы раз.

НИГИЛИЗМ
Нигилизм, безразличие, отсутствие цели, потеря интереса. Результат всех этих действий известен заранее. Ответом на эту проблему может быть  ЗАБАВНАЯ ТЕОРИЯ СИНГУЛЯРНОСТИ Елизера Юдковского.

ГЛАВА ШЕСТАЯ.
ФАНТАЗИИ НА ТЕМУ О СИНГУЛЯРНОСТИ

Здесь представлена подборка коротких фантастических рассказов о Сингулярности. Сингулярность наступит лишь через несколько лет в будущем, но изменения будут фундаментальными и глобальными. Наступление нанотехнологии преобразует медицинскую практику, экономику и архитектуру. Биотехнология трансформирует наши тела в образы из сновидений. Искусственный интеллект изменит наши представления о том, что значит быть личностью.

ЧЕТЫРЕ ГОДА СПУСТЯ

Этот рассказ был написан для электронного списка рассылки SL4 и выпукло отражает особенности реальной жизни посетителей SL4 Бена Герцеля и Элизера Юдковского.

Дата – через четыре года после сегодняшнего дня, когда мир находится на грани чего-то удивительного.

Большой новостью последних двенадцати месяцев является феноменальный успех программы Novamente Бена Герцеля. Она стала суперсредством решения комплексных проблем. После решения проблемы синтеза белков, 'чудодейственные' рецепты излечения одной страшной болезни за другой выдавались почти ежедневно. Победа над программой Deep Blue в двадцать один ход, сразу после того, как ей дали правила игры в шахматы, не кажется впечатляющей. Всё же нанотехнология пока оказалась ещё нерешенной проблемой, более трудной, чем ожидалось. Но обещания ИИ были реализованы не в полной мере. Система Novamente не демонстрирует признаков мотивации или инициативы. Если ей предлагают проблему, то она считает, запрашивает данные, считает и выдаёт ответ. Потом она сидит и думает "чёрт знает что" до тех пор, пока ей не предоставят другую проблему.

Тем не менее, успех системы Novamente сделал Бена Герцеля богатым и знаменитым, позволив ему частенько появляться в ток шоу программах, а также наносить визиты в Белый Дом. Одним из удивительных фактов является то, что эта система оказалась неспособна дать хоть какой-то дельный совет команде юристов, которая точно парировала недавнюю враждебную попытку захвата IBM.

Явление Novamente инициировало взрыв общественного интереса к исследованиям в области ИИ. Вслед за этим некоммерческая организация, Институт Сингулярности Искусственного Интеллекта, была завалена лавиной пожертвований.

В шикарном новом здании в Атланте мы находим Элизера, работающего со своей системой семени ИИ, SeedAI, собственного дизайна.

 -Я собираюсь прочитать Вам краткую историю  – говорит он.

- О'кей - отвечает компьютер.

На трёх больших экранах мы наблюдаем каскад внутренних переменных, системные параметры и сигналы речи, когда мы пытаемся понять что программа думает.

- У Марии был маленький ягнёнок, чья шерсть была белая как снег. - Элизер читает знакомый с яслей стишок, строку за строкой, глядя на экран. После завершения он спрашивает - О чём был рассказ?

- Этот рассказ был о девочке, овце, школе и о...

Прерывая компьютер, он спрашивает - Как звали девочку?

- Мария – отвечает компьютер.

- Как твоё имя? – спрашивает Элизиер.

Компьютер отвечает - Ошибка, вопрос не ясен.

Он вглядывается в экраны с минуту другую, надеясь увидеть что-то, что объяснит его разочарование. Затем закрывает глаза, погружаясь в мысли о своём проекте. Остается загадкой, которую он должен решить - почему после по сути трёх лет работы над системой он не сделал виртуально никакого прогресса?

В дверь заходит Сабина - Как идут дела?

- Примерно так же! - отвечает он -  А у тебя?

- Великолепно! Я думаю, что про нас будет статья в журнале TIME. Как долго ты сегодня работал?

- Ох, с восьми утра.

- Хорошо, я думаю пятнадцать часов достаточно. Почему бы тебе не сходить со мной пообедать? Ты знаешь, человек не может жить одной пиццей.

- Круто, дайка я звякну Брайану и поинтересуюсь, не хочет ли он пойти с нами?

- Это будет довольно трудно сделать, учитывая что Брайан сегодня в Сиэтле на конференции Extro.

Он спрашивает - Прекрасно, чем ты думаешь питаться?