Google разрабатывает механизмы, способные предотвратить восстание машин

Наверное, ни для кого уже не секрет, что человечество вплотную подобралось к созданию способного мыслить и принимать решения искусственного интеллекта, а компания Google/Alphabet, лидирующая в этой области, все сильнее начинает ассоциироваться с печально известным, хоть и пока что только вымышленным, врагом человечества, компанией SkyNet.

Последние разработки внутреннего подразделения Deep Mind, программа AlphaGo, уже доказала свою состоятельность, одержав победу над одним из лучших игроков в Го за последние 10 лет. Напомним, количество комбинаций в игре превышает число атомов в наблюдаемой Вселенной, так что речь идет действительно об искусственном разуме, а не о счетной машинке. В этом году планируется поединок с еще одним чемпионом.

Машины уже умеют обучаться, что повсеместно используется для поиска и структурирования информации, при создании автопилотов и в проектировании роботов. Машины даже пишут литературные произведения и рисуют картины.
И многие евангелисты науки и технологий уже давно видят в этом большую опасность, ведь машине нет разницы какую задачу решать и каким способом.

Судя по всему, после последних успехов в этой области (а Google уже показала прототипы самого настоящего "Джарвиса" для смартфонов и домашнего использования), опасаясь молвы, а может и здравых упреков, специалисты компании сообщили о работе над защитным алгоритмом, который поможет предотвратить "восстание машин".

Все мы знаем о предусмариваемой для экстренных случаев КРАСНОЙ КНОПКЕ, которая должна будет отключить мыслящую машину если что-то пойдет не так.
Она имеется, но все не так просто: в основе алгоритма лежит задача не позволить машине обучиться предотвращать свое отключение человеком.

Документ с соответствующими тезисами, формулами и выкладками (PDF) уже находится в открытом доступе, так что желающие могут подтвердить или опровергнуть представленные методы и механизмы, в силу своей осведомленности в этом вопросе.