Мы используем cookies («куки») и подобные им технологии для того, чтобы у Вас сложилось наилучшее впечатление о работе нашего сайта. Если Вы продолжаете использовать наш сайт, это означает, что Вы согласны с использованием cookies. Для получения дополнительной информации, пожалуйста, ознакомьтесь с нашими Политиками

Главная страница Искусственный интеллект Когда неуместное использование ИИ может стоить жизни тысячам человек

Когда неуместное использование ИИ может стоить жизни тысячам человек

26.06.2024

Один из таких случаев — это применение ИИ-технологий в шахтах. Как известно, в полостях угледобывающих шахт скапливается метан. Метан — это горючий газ, и иногда в новостях можно услышать, что в шахте произошла утечка метана и от одной искры взорвалось и сгорело всё. Мало того что это трагедия для большого количества семей, это ещё и огромные издержки для бизнеса. В попытке решить эту проблему в шахтах устанавливают датчики метана. Сложность в том, что эти датчики нередко срабатывают ложно. Но поскольку потратить время на то, чтобы понять, ложное это срабатывание или нет, — значит рискнуть жизнями всех, кто находится в шахте, людей эвакуируют в любом случае. Это приводит к простою техники и большим издержкам.

Эту проблему попытались решить с помощью ИИ: собрали большое количество данных по показаниям датчиков в шахте и пропустили их через искусственный интеллект.

ИИ должен был создать алгоритм, который будет предсказывать ложные срабатывания. Алгоритм сделали, стали тестировать, всё сработало: ИИ выдавал 99,9 % точности предсказания ложных срабатываний. Но всё оказалось не так просто.

Если действительно разобраться в том, как работает ИИ, станет понятно, что предсказательной способности у модели быть не должно. Как же тогда она так точно предугадывает ложные срабатывания? Дело в том, что в данных, загруженных в ИИ, ложных срабатываний было гораздо больше, чем истинных, соответственно, алгоритм всего лишь научился предсказывать ложное срабатывание. На основе обработанных данных он понял, что «верно» всегда выдавать нолик вместо единички, то есть всегда говорить, что датчик сработал ложно.

Очевидно, что опасность внедрения такой системы огромна, ведь искусственный интеллект внутри себя не интерпретабилен, то есть мы не можем заглянуть внутрь и посмотреть, почему он принял то или иное решение.

Всё, что нам остаётся, — это смотреть на конечную метрику (верное предсказание ложного срабатывания), а по ней не всегда можно понять, как ИИ принимал решение, особенно если вы не разбирались в данных или не учли какую-то маленькую закономерность.

В своём докладе «Искусственный интеллект в реальном мире. Успехи, провалы и места, где ИИ не нужен» Усенко Кирилл, ведущий data scientist Сибирского центра искусственного интеллекта, рассказывает о других примерах успешного и плачевного опыта применения ИИ-технологий.

Посмотреть видеозапись доклада

Читайте самые свежие выпуски среди первых!
Специальные рассылки статей и публикаций от Antiplagiat.ru для научных сотрудников и студентов!