[ Каскадный ] · Стандартный · Линейный Технологическая сингулярность и культура

[Dmitry Ivashintsov]

Дмитрий Ивашинцов
Технологическая сингулярность и культура
Опубликовано в Философском журнале Phenomen.Ru 16.05.2006.
Прямая ссылка: http://phenomen.ru/public/journal.php?article=34

Публикация: Дмитрий Ивашинцов

[turchin]

приветсвую возможность размещения статьи в журнале.

Кроме того, закончил перевод ещё одной статьи:

Э.Юдковский
Искусственный интеллект как позитивный и негативный фактор глобального риска.

Eliezer Yudkowsky
Artificial Intelligence as a Positive and Negative Factor in Global Risk
Выходит в 2007 году в сборнике Риски глобальной катастрофы под редакцией Ника Бострома и Милана Цирковича, Оксфорд.

Перевод: Алексей Валерьевич Турчин. (avturchin@mail.ru)
Разрешено некоммерческое использование перевода.

Док файл с форматированием:
www.avturchin.narod.ru/ai.doc

Текстовая версия:
http://www.proza.ru/texts/2007/03/22-285.html

Оригинал: http://www.singinst.org/reading/corereading/

Forthcoming in Global Catastrophic Risks, eds. Nick Bostrom and Milan Cirkovic
Draft of August 31, 2006
Eliezer Yudkowsky
(yudkowsky@singinst.org)
Singularity Institute for Artificial Intelligence
Palo Alto, CA



Введение. (1)



До сих пор основной опасностью искусственного интеллекта (ИИ) было то, что люди слишком рано делали вывод, что они его понимают. Разумеется, эта проблема не ограничена ИИ. Jacques Monod пишет: «забавным аспектом теории эволюции является то, что каждый думает, что понимает её». (Monod, 1974.) Мой отец, физик, жаловался на людей, придумывавших свои собственные физические теории: «интересно знать, почему люди не придумывают свои собственные теории химии?» (Но они делают.) Тем не менее, проблема является особенно актуальной в области ИИ. Область ИИ имеет репутацию того, что она даёт огромные обещания и не исполняет их. Большинство наблюдателей считают, что ИИ труден, и это на самом деле так. Но запутанность не происходит из трудности. Трудно сделать звезду из водорода, но звездная астрофизика не имеет ужасающей репутации обещать сделать звезду и затем не смочь. Критическим выводом является не то, что ИИ труден, а то, что, по неким причинам, людям очень легко думать, что они знают об Искусственном Интеллекте гораздо больше, чем на самом деле.


В моей другой статье о рисках глобальной катастрофы «Систематические ошибки мышления, потенциально влияющие на суждения о глобальных рисках», я начинаю с замечания, что немногие люди предпочли бы нарочно уничтожить мир; сценарий же уничтожения Земли по ошибке кажется мне очень беспокоящим. Немногие люди нажмут кнопку, которая, как они точно знают, вызовет глобальную катастрофу. Но если люди склонны быть абсолютно уверены, что кнопка делает нечто, совершенно отличное от её реального действия, это действительно причина для тревоги.

Гораздо труднее писать о глобальных рисках искусственного интеллекта, чем о систематических ошибках мышления. Ошибки мышления – это твёрдо установленное знание; достаточно процитировать литературу. ИИ – это не твёрдо установленное знание; ИИ относится к передовым исследованиям, а не к учебникам. И, по причинам, объясняющимся в следующей главе, проблема глобальных рисков в связи с искусственным интеллектом фактически не обсуждается в существующей технической литературе.


далее по ссылкам

Док файл с форматированием:
www.avturchin.narod.ru/ai.doc

Текстовая версия:
http://www.proza.ru/texts/2007/03/22-285.html