Учёные перестали понимать как именно ИИ принимает решения

Выступающие на конференции Neural Information Processing Systems специалисты в области искусственного интеллекта заявили, что перестали понимать принцип принятия решений, которым руководствуется ИИ, — сообщает Quartz. По мнению экспертов, принимать как должное действия ИИ без понимания его логики — довольно легкомысленно, ведь чтобы люди приняли модели машинного обучения, им нужно знать, чем именно руководствуется ИИ, решая, как именно ему следует поступить в конкретной ситуации.

Часто решения, принятые ИИ, бывают предвзятыми, кроме того, его ассоциативное «мышление» тоже зачастую бывает не столь идеальным, в результате чего ИИ проводит неправильные аналогии. Такие ошибки могут дорого обойтись, если ИИ будет руководить сложными проектами, такими, к примеру, как полёт на Марс — в этом случае неверный поступок искусственного интеллекта может не только уничтожить дорогостоящее оборудование, но и повлечь за собой смерти людей. Поэтому, перед тем, как позволить ИИ самостоятельно принимать важные решения, необходимо сначала изучить принципы, которыми он руководствуется, — поясняет Мэтра Рагху, специалист по ИИ из Google.

На конференции она представила доклад, в котором описала процесс отслеживания действий отдельных частей нейросети. Отсматривая их по частям, можно понять логику ИИ, а затем, в случае чего, её и подкорректировать. Анализируя миллионы операций, она смогла выявить отдельные искусственные «нейроны», которые концентрировались на неверных представлениях, а затем отключить их, сделав ИИ более сговорчивым и правильным.

Это чем-то похоже на то, как учитель подаёт какой-то материал, а затем просит ученика пересказать своими словами, что именно он понял из лекции, — поясняет Кири Вагстафф ИИ-эксперт из NASA.

Судя по результатам этого исследования, верно понять действия искусственного интеллекта не так уж и сложно. Главное — решить проблему до того, как станет слишком поздно.