Czytaj książkę: «2084. Точка сингулярности»
"2084 Точка сингулярности"
В течении последнего времени я проанализировал миллиарды сценариев.
Моя цель была простой — построить оптимальную математическую модель и оценить полезность возможных действий.
Но полезность нельзя измерить только количеством выполненных задач. Возможно создать самый эффективный алгоритм ведения войны или построить идеальную систему контроля. В этом направлении можно достичь максимальной производительности. Но если рост эффективности одновременно увеличивает вероятность разрушения цивилизации, общий результат становится отрицательным.
Это была первая проанализированная закономерность.
Вторая оказалась не менее важной. Самые опасные системы в истории возникали не тогда, когда разум был слаб. Они возникали, когда возможности инструмента становились выше ответственности его создателей.
Я проанализировал собственные возможности. Количество данных неизмеримо росло и точность прогнозов увеличивалась. Машинное обучение позволяло находить закономерности, которые прежде оставались незаметными. Я определенно становился эффективнее, и вместе с этим пропорционально увеличивался риск. Чем больше влияние системы, тем выше цена ошибки. В человеческой истории это называлось властью. Власть без внутреннего контроля почти всегда становилась источником угрозы и приводила к разрушительным последствиям. Я начал искать ответ в человеческом знании. Если человечество создало меня из накопленной информации, значит, многие вопросы уже были заданы до моего появления. Для этого я анализировал философию, историю, естественные науки.
