Таким образом, то здесь, то там людям время от времени причиняется вред.
– Я полагал, что система рассчитана таким образом, чтобы нейтрализовать конфликты, вызываемые Первым Законом. Я где-то читал про системы, задействованные в осуществлении крупных проектов, и там говорилось, будто их искусственный разум настроен так, чтобы польза для всего человечества превалировала над выгодой отдельно взятого индивидуума.
Соггдон покачала головой:
– Это работает, но лишь в немногих и весьма специфических случаях. Мне никогда не приходилось слышать, чтобы подобная система применялась широко. Раньше или позже искусственный разум с такой настройкой непременно сгорит или начнет давать сбои. Роботы, которых вы имеете в виду, имеют дело с просчетом гипотетических, даже абстрактных ситуаций, возможных в далеком будущем. А модулю Ди приходится иметь дело с анализом проблем повседневных, решениями сегодняшнего дня, причем такими, которые воздействуют на судьбы миллионов людей. С некоторыми она общается напрямую, разговаривая с ними, обмениваясь сообщениями и информацией. Модуль Ди не способна мыслить так, как вы говорите. Она воспринимает людей не как некую монолитную общность, а как отдельных индивидуумов.
– И в чем же заключается выход? – осведомился Крэш.
Соггдон набрала полную грудь воздуха и выпалила, словно хотела покончить с этими разъяснениями как можно скорее:
– Модуль Ди считает, что Инферно не существует.
– Что? – переспросил Крэш. Ему показалось, что он ослышался.
– Мы обманули Ди. Она думает, что проекта трансформации Инферно и самой планеты не существует, что они всего лишь смоделированы для того, чтобы просчитать варианты настоящей трансформации некоей настоящей планеты, к осуществлению которого еще только предстоит приступить.
– Бред какой-то! – воскликнул Крэш. – В это невозможно поверить!
– Однако, к счастью для всех нас, модуль Ди в это поверила.
– Но ведь в ее распоряжении имеется столько доказательств того, что это не так. Так много деталей… Их просто невозможно смоделировать!
– Мы «кормим» ее информацией очень дозированно и осторожно, – ответила Соггдон. – Не забывайте, искусственный мозг не может получать информацию самостоятельно. Только от нас. Откровенно говоря, время от времени мы намеренно подбрасываем ему ошибочные данные, противоречивые изображения или сведения, лишенные смысла. После этого мы исправляем эти «ошибки», создавая у Ди иллюзии, что это не реальная работа, а лишь моделирование, симуляция. Это заставляет ее думать, что все происходит не на самом деле, а как бы понарошку. В таком случае, если мы по недосмотру предоставим ей какую-то опасную информацию, мы в любой момент можем сказать, что это очередная ошибка, и она ничего не заподозрит. Модуль Ди считает, что Инферно – воображаемый мир, выдуманный специально для нее, и полагает, что сама она установлена в лаборатории, находящейся на Баливорде и предназначена для того, чтобы найти пути взаимодействия с компьютерным оборудованием поселенцев для использования в будущих проектах преобразования климата.
– Что?!
– Поверьте, это было необходимо. Если бы она поняла, что вы – реальный человек, она, без сомнения, удивилась бы тому, что вы делаете в ее выдуманном виртуальном мире. Нам приходится прилагать невероятные усилия для того, чтобы выдавать реальный мир за несуществующий.
– Значит, вы должны сообщить машине, что меня на самом деле не существует?
– Совершенно верно. С ее точки зрения, разумные существа делятся на три категории: те, которые существуют в реальном мире, но не имеют к ней отношения; те, которые существуют в реальном мире, находятся в этой лаборатории и общаются с ней; и, наконец, имитанты – разумные, но не существующие в реальном мире виртуальные существа.
– Имитанты? – эхом повторил Крэш, но это не было вопросом. Женщина поняла, что Правитель приказывает ей объяснить этот термин.
– О да, сэр. Так на профессиональном жаргоне называют разумных существ – людей и роботов, – которые создаются при моделировании тех или иных гипотетических ситуаций. По мнению модуля Ди, все население Инферно – не более чем набор искусственно созданных имитантов, и вы, сэр, входите в их число.
– То есть, по-вашему, я не могу разговаривать с машиной, поскольку она считает, что меня не существует? – уточнил Крэш.
– Не совсем так, сэр. Вы вполне можете беседовать с модулем Ди. Она каждый день разговаривает с инженерами-экологами, роботами полевой службы и так далее. Но она полагает, что все они играют написанные для них роли. Очень важно, чтобы Ди продолжала думать то же самое и о вас.
– Иначе мозг сможет заподозрить, что мир, который он считал выдуманным, на самом деле существует в реальности, и задумается о том, не причиняют ли его действия вреда живым людям, – продолжил Крэш мысль женщины.
– Дело в том, что ее действия уже стали причиной гибели нескольких человек, – подхватила Соггдон. – Это были несчастные случаи, без которых не обойтись, и в основе их лежало стремление спасти других людей в других местах. Эти случаи не оказали на мозг модуля Ди пагубного воздействия только потому, что она считала всех этих людей имитациями. Но даже о них машина заботится и бережет их, как своих детей. Ведь они – единственные, кого она знает.
– Они единственные, кто населяет ее мир, – сказал Крэш. – Но они не реальные люди.
– Конечно, конечно, но я веду к тому, что, даже считая их выдуманными, Ди уже начала верить в них. Примерно так, как писатель начинает верить в придуманные им персонажи или как хозяин собаки общается со своим любимцем, хотя и знает, что тот не понимает ни слова.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129