Работаю над ранней версией новой книги @ESYudkowsky и Нейта Соареса. И вот ссылка Больше мыслей/контекста ниже :

Мой отзыв о их книге: "Люди счастливы, что у нас есть Нейт Соарес и Элиезер Юдковский, потому что они действительно умеют писать. То есть, вы почувствуете настоящие эмоции, когда прочитаете эту книгу. Мы в настоящее время живем в последнем периоде истории, когда мы являемся доминирующим видом. У нас есть короткое окно времени, чтобы принять решения о нашем будущем с учетом этого факта. Иногда я отвлекаюсь и забываю об этой реальности, пока не наткнусь на работы этих людей и не напомню себе, что я дурак, если посвящаю свою жизнь чему-то, кроме этого вопроса. Это современный авангард как философии, так и политической теории. Я не говорю это легкомысленно."

Как многие из вас могут заметить, я оптимист в области ИИ. Я переехал в Сан-Франциско, как только ИИ начал действительно развиваться, и на то есть причина — это моя страсть на всю жизнь. И я взволнован теми последствиями, которые это может иметь для медицины, физики, борьбы с коррупцией, изобилия — вы назовите это. Поверьте, моя страсть к этой теме длится всю жизнь и исходит из места любви, приключений, новых идей, трансцендентных, невообразимых идей и общественного блага.

Я думаю, что сбиваю всех с толку своей, казалось бы, противоречивой приверженностью обеим сторонам движений ускорителей гибели и всему, что между ними. Но то, что я на самом деле ищу, это не просто более тонкая дискуссия, где мы перестаем списывать людей за одну-две безумные идеи, потому что балансирование на тонкой грани между гением и безумием почти является предпосылкой для того, чтобы приблизиться к глубокому пониманию всех последствий ИИ или чего-то, что хотя бы отдаленно напоминает понимание реальной игровой доски.

Все, что я могу сказать с уверенностью, это то, что я либо вел глубокие разговоры с многими ведущими специалистами в области ИИ, либо старался следить за их прогнозами. Я также замечаю несоответствие между тем, что говорят наедине, и тем, что говорят публично. Глубокая мудрость, которую я нахожу у этих соавторов, заключается в их приверженности к проблемам, связанным с этой неопределенностью и отсутствием согласия. Я не думаю, что это означает, что мы должны быть пессимистами или сторонниками ускорения.