https://uz.sputniknews.ru/20240304/neyroseti-doveriye-opasnost-ekspert-mneniye-42759875.html
Почему опасно полностью доверять нейросетям — эксперт
Почему опасно полностью доверять нейросетям — эксперт
Sputnik Узбекистан
ИИ нередко ошибается, что может привести к серьезным последствиям
2024-03-04T22:01+0500
2024-03-04T22:01+0500
2024-03-04T22:01+0500
это интересно
общество
технологии
it-технологии
мнение эксперта
искусственный интеллект
https://cdn1.img.sputniknews.uz/img/07e7/0b/17/41208086_0:103:3017:1800_1920x0_80_0_0_78867c9b23f42d703b57ad7f3c7b8b65.jpg
Чрезмерное доверие нейросетям в обозримой перспективе может сыграть злую шутку с пользователями, ведь нейросети все еще нередко ошибаются. В критических ситуациях это может иметь серьезные последствия, кроме того, такой доверчивостью могут воспользоваться и злоумышленники, рассказал РИА Новости руководитель группы исследований и разработки технологий машинного обучения в "Лаборатории Касперского" Владислав Тушканов.Он напомнил, что даже искаженная или неверная информация, преподнесенная устройством на понятном языке, красивыми словами и уверенным тоном часто не вызывает сомнений.По словам эксперта, эта проблема называется overreliance (чрезмерное доверие или зависимость), когда большие языковые модели начинают использовать в качестве помощников и инструментов для оптимизации процессов и облегчения какого-то рутинного интеллектуального труда. Они входят в жизнь человека, и пользователь начинает на них излишне полагаться.В качестве примера специалист привел просьбу к нейросети подобрать фильм для вечернего просмотра. Если ИИ предложит несуществующую картину, это не так страшно. Гораздо более серьезная ситуация может возникнуть, если человек выложит свои симптомы и спросит, чем он болеет, а нейросеть поставит неверный диагноз.Эксперт сомневается в том, что искусственному интеллекту когда-либо можно будет доверять на 100%. "Пока любая большая языковая модель генерирует каждое слово с учетом предыдущих, используя наиболее вероятные комбинации, поэтому ошибки возникают довольно часто. Сейчас исследователи работают над улучшением фактологичности, чтобы нейросеть, если не уверена, сказала "я не знаю", поэтому пока, наверное, я бы не стал полагаться на нее, особенно в чем-то важном, отметил Тушканов. Он также добавил, что существуют подходы, позволяющие улучшать надежность генерации, но полной гарантии ни с какими вероятностными системами давать нельзя.При этом, эксперт почти уверен, что излишней доверчивостью людей не преминут воспользоваться злоумышленники.Вместе с тем, он подчеркнул, что в развитии ИИ есть немало преимуществ: люди уже перестают воспринимать нейросети, как "болталки, с которыми можно поговорить или попросить написать стихотворение", а видят в них системы, на основе которых можно проектировать гораздо более сложные приложения."У нас появляются плагины к ним, инструменты, с помощью которых они могут работать с файлами на диске, искать в интернете, анализировать и выдавать результат в готовом и полезном виде. Стремление компаний, разработчиков, исследователей научить большие языковые модели работать с этими инструментами - это, как мне кажется, основной путь, по которому применение будет расширяться и сами они будут развиваться", — резюмировал специалист.
Sputnik Узбекистан
info@sputniknews-uz.com
+74956456601
MIA „Rossiya Segodnya“
2024
Sputnik Узбекистан
info@sputniknews-uz.com
+74956456601
MIA „Rossiya Segodnya“
Новости
ru_UZ
Sputnik Узбекистан
info@sputniknews-uz.com
+74956456601
MIA „Rossiya Segodnya“
Sputnik Узбекистан
info@sputniknews-uz.com
+74956456601
MIA „Rossiya Segodnya“
нейросеть доверие опасность эксперт ии ошибки последствия
нейросеть доверие опасность эксперт ии ошибки последствия
Почему опасно полностью доверять нейросетям — эксперт
ИИ нередко ошибается, что может привести к серьезным последствиям.
Чрезмерное доверие нейросетям в обозримой перспективе может сыграть злую шутку с пользователями, ведь нейросети все еще нередко ошибаются. В критических ситуациях это может иметь серьезные последствия, кроме того, такой доверчивостью могут воспользоваться и злоумышленники, рассказал
РИА Новости руководитель группы исследований и разработки технологий машинного обучения в "Лаборатории Касперского" Владислав Тушканов.
Он напомнил, что даже искаженная или неверная информация, преподнесенная устройством на понятном языке, красивыми словами и уверенным тоном часто не вызывает сомнений.
"Если что-то хорошо, красиво говорит, особенно, если это компьютер, значит, это нечто разумное, и мы склонны ему верить, а оно может ошибаться, и нередко", — отметил Тушканов.
По словам эксперта, эта проблема называется overreliance (чрезмерное доверие или зависимость), когда большие языковые модели начинают использовать в качестве помощников и инструментов для оптимизации процессов и облегчения какого-то рутинного интеллектуального труда. Они входят в жизнь человека, и пользователь начинает на них излишне полагаться.
"Это вероятностные алгоритмы, они имитируют человеческую речь, текст, написанный человеком, но это не всегда верно фактологически, а система все равно уверенно подает нам это как истину — такие ситуации называются галлюцинациями. И чем более точными и полезными становятся нейросети, тем больше мы будем их использовать, но всегда надо помнить о том, что они могут и будут ошибаться, слишком им доверять - это главный риск", — указал он.
В качестве примера специалист привел просьбу к нейросети подобрать фильм для вечернего просмотра. Если ИИ предложит несуществующую картину, это не так страшно. Гораздо более серьезная ситуация может возникнуть, если человек выложит свои симптомы и спросит, чем он болеет, а нейросеть поставит неверный диагноз.
Эксперт сомневается в том, что искусственному интеллекту когда-либо можно будет доверять на 100%. "Пока любая большая языковая модель генерирует каждое слово с учетом предыдущих, используя наиболее вероятные комбинации, поэтому ошибки возникают довольно часто. Сейчас исследователи работают над улучшением фактологичности, чтобы нейросеть, если не уверена, сказала "я не знаю", поэтому пока, наверное, я бы не стал полагаться на нее, особенно в чем-то важном, отметил Тушканов. Он также добавил, что существуют подходы, позволяющие улучшать надежность генерации, но полной гарантии ни с какими вероятностными системами давать нельзя.
При этом, эксперт почти уверен, что излишней доверчивостью людей не преминут воспользоваться злоумышленники.
"Возможно, мошенники тоже возьмут это на вооружение. В комбинации с дипфейками, в комбинации с подделкой голоса — это может стать большой угрозой в недалеком будущем", предположил Тушканов.
Вместе с тем, он подчеркнул, что в развитии ИИ есть немало преимуществ: люди уже перестают воспринимать нейросети, как "болталки, с которыми можно поговорить или попросить написать стихотворение", а видят в них системы, на основе которых можно проектировать гораздо более сложные приложения.
"У нас появляются плагины к ним, инструменты, с помощью которых они могут работать с файлами на диске, искать в интернете, анализировать и выдавать результат в готовом и полезном виде. Стремление компаний, разработчиков, исследователей научить большие языковые модели работать с этими инструментами - это, как мне кажется, основной путь, по которому применение будет расширяться и сами они будут развиваться", — резюмировал специалист.
