Поддержать
Представим обычный день. Вы просыпаетесь, берете телефон. Новости уже отобраны за вас, реклама подстроена под ваши страхи и желания, маршрут к работе проложил навигатор, музыку выбрала стриминг-платформа. Формально решаете вы: что читать, куда ехать, что слушать. Но каждый раз рядом стоит невидимый алгоритм, тихо толкающий в «правильную» сторону. По моему мнению, именно с этих мелочей и начинается большая история, когда человек теряет контроль над своими решениями и передает их алгоритмам.
Суть этих перемен проста: мы начинаем проигрывать алгоритмам искусственного интеллекта, потому что они становятся более быстрыми, более сложными и менее контролируемыми. Сейчас человечество начинает проигрывать машинам в трех дисциплинах одновременно. Во-первых, машинные системы стали слишком сложными, чтобы человек мог их по-настоящему понимать. Во-вторых, они работают в темпе, за которым мы физически не успеваем. В-третьих, новые цифровые технологии меняют реальность очень быстро. А законы, нормативы, государственные учреждения (например, суды, министерства, регуляторные органы) меняются медленно: им нужны годы на обсуждение, разработку и принятие новых норм.
Там, где все три фактора накладываются, контроль незаметно переходит от человека к машине — без революции, без «восстания роботов», просто как побочное следствие эффективности. Чтобы понять, как именно это происходит, рассмотрим каждый из этих трех факторов отдельно.
Представим простую ситуацию: вам отказали в кредите. Оператор банка вежливо говорит: «Решение приняла система скоринга». Почему именно? Какой параметр загорелся красным? Вы этого не знаете. Часто этого не знает и сотрудник банка — у него лишь экран с результатом: «риск высокий». Или другая сцена: вы заходите в соцсеть на минуту… и выпадаете на час. Лента как будто читает ваше настроение: когда вы устали — дает легкие видео, когда вы тревожны — подсовывает еще больше тревоги. Она не любит и не ненавидит вас — просто оптимизирует «время удержания внимания». Однако именно она фактически руководит тем, что будет в вашей голове сегодня вечером. И это первый фактор.
Второй фактор — время. Алгоритмы работают непрерывно и почти мгновенно. Онлайн-магазин меняет цену несколько раз в день; служба доставки автоматически перестраивает маршруты; реклама успевает измениться за секунды до того, как вы доскролите до нее. Человек не может участвовать в каждом таком решении — это физически невозможно. В результате мы реагируем уже на последствия, а не на сами решения. Вы замечаете, что билеты на самолет вдруг подорожали, но не видите, как алгоритм спроса и предложения «крутил ручки» целый день. По моему мнению, контроль, существующий только «задним числом», больше напоминает самоуспокоение, чем настоящую власть над ситуацией.
А теперь представьте себя руководителем компании, который вдруг начал воспринимать время в 50 раз медленнее. Вы ложитесь спать на одну ночь, а для вашей компании проходит два месяца. Вы выходите из отпуска, и оказывается, что департамент реорганизовали, систему управления изменили, процессы автоматизировали, а вы сами превратились в «узкое место». Никакого заговора нет: просто все спешат, а вы — нет. Эта история очень похожа на то, что может произойти с человечеством: машины «живут» в милисекундах, мы — в минутах и часах. И нас незаметно отодвигают от реальных консолей управления. Это метафора, а не описание реальной компании, но она хорошо передает логику процесса.
Третий фактор — институционная отсталость. Наши законы и регуляторы до сих пор живут в мире бумажных обращений и многолетних «рабочих групп». Тем временем в школах уже тестируют системы автоматической проверки работ, в больницах — алгоритмы поддержки диагностики, в судах — программы для оценки рисков. В законах ИИ часто упомянут одним абзацем, а на практике от него зависят шансы человека на кредит, лечение, условно-досрочное освобождение или даже на выживание в боевых условиях. Формально государство «контролирует» эти процессы, но реально они проектируются и обновляются в кабинетах ІТ-компаний, где манипулируют не статьями кодексов, а параметрами математических моделей, на которых базируются алгоритмы искусственного интеллекта.
В центре всего этого — эпистемическая асимметрия, то есть разрыв в понимании: системы знают больше, чем люди, которым эти системы должны помогать принимать решение. То есть люди по должности отвечают за решения, которые они уже не успевают и не могут объяснить. Врач смотрит на экран и видит рекомендацию системы: «вероятность инфаркта высокая». Бухгалтер получает «красный» сигнал от налогового риск-модуля. Учитель видит, что платформа обозначила кого-то из студентов как «проблемного». Во всех этих случаях человек может согласиться или нет, но главное решение де-факто уже сформулировала машина. По моему мнению, так рождается опасный парадокс: ответственность человеческая, а контроль постепенно становится машинным.
Самое опасное то, что в этой истории нет злого гения. Нет железного «Терминатора», который хочет нас уничтожить. Есть стремление к эффективности. Вы ставите «умный» термостат, и он начинает лучше вас знать, когда вам должно быть тепло, а когда можно сэкономить. Вы включаете автопилот в машине и постепенно перестаете внимательно следить за дорогой. Вы полагаетесь на рекомендации платформы и меньше ищете сами. Контроль не отнимают силой — мы сами передаем его по кусочкам, потому что так удобнее. И в какой-то момент оказывается, что обратно собрать эти кусочки уже очень трудно.
Что с этим делать в реальной жизни, а не в теории? Во-первых, требовать прозрачности и права на объяснение там, где от решения алгоритма зависит что-то важное: кредит, лечение, оценка, приговор. Если система не может объяснить, почему она так решила, это тревожный сигнал. Во-вторых, в критических сферах — от медицины до обороны — сознательно закладывать «паузы», где решение не может быть полностью автоматическим. Человек должен иметь время сказать «стоп» или хотя бы «объясните». В-третьих, создавать институции по контролю над алгоритмами — независимые аудиты, омбудсменов по вопросам ИИ, специализированные судебные механизмы. Иначе роль «последнего предохранителя» навеки повиснет на отдельных людях, физически неспособных успевать за машинами.
Если подвести итог, то история про инверсию контроля — это не про далекое «когда-то», а про наш завтрашний день. Каждый раз, когда вы чувствуете, что решение приняла система, а отвечать за него должны вы, — это маленький звоночек. Если такие звоночки накапливаются в финансах, медицине, образовании, политике — это уже не отдельная проблема пользователя, а вопрос публичной политики.
По моему мнению, наш выбор очень прост и очень сложен одновременно: либо мы научимся ставить машины в четкие рамки человеческого контроля, либо постепенно превратимся в того «директора», который все еще подписывает приказы, но компания давно живет без него.
Следить в Телеграмме
Войти с помощью Facebook
Войти с помощью Twitter
Войти с помощью Google