Введение в проблему
Платформы искусственного интеллекта (AI) для корпоративного использования часто демонстрируют предсказуемые уязвимости, что делает их потенциальными мишенями для хакеров. Одним из ярких примеров является взлом платформы McKinsey Lilli, который произошел всего за два часа и привел к компрометации системы, развернутой для 43 000 пользователей.
Анализ взлома
Взлом платформы McKinsey Lilli был осуществлен с помощью автономного агента безопасности, созданного компанией CodeWall. Этот агент смог извлечь 46,5 миллионов консультационных разговоров, 728 000 конфиденциальных документов, 57 000 учетных записей пользователей и, что самое критическое, получить доступ на запись ко всем 95 системным подсказкам, контролирующим вывод информации для консультантов McKinsey. Стандартный сканер безопасности OWASP ZAP не смог обнаружить эту уязвимость.
Цепочка атак
Начальной точкой атаки стала одна из 22 точек API, не требующих аутентификации, и публично доступная документация API. Одна из этих точек API записывала запросы пользователей в базу данных. Критическим моментом стало то, что хотя значения параметров запроса были правильно параметризированы, имена полей JSON были напрямую сконкатенированы в SQL-выражение. Это позволило провести SQL-инъекцию, что является техникой, известной с конца 1990-х годов.
SQL-инъекция: десятилетняя уязвимость
SQL-инъекция является одной из старейших и наиболее известных уязвимостей веб-приложений, входящей в топ-3 списка OWASP с конца 2000-х годов. Она возникает, когда данные, вводимые пользователем, неадекватно фильтруются и могут изменить структуру SQL-запроса. В случае с платформой Lilli уязвимость существовала из-за того, что инженеры, разрабатывающие внутренние инструменты AI, не учитывали аспекты веб-безопасности и не параметризировали имена полей JSON.
Последствия уязвимости
Взлом платформы McKinsey Lilli показал, что уязвимости в Enterprise AI-платформах могут иметь серьезные последствия. Данные, извлеченные из системы, включали конфиденциальную информацию и могли быть использованы для дальнейших атак. Более того, получение доступа на запись ко всем системным подсказкам позволило бы хакерам манипулировать выводом информации для консультантов McKinsey, что могло бы иметь далеко идущие последствия.
Заключительные мысли
Взлом платформы McKinsey Lilli подчеркивает необходимость для инженеров, разрабатывающих Enterprise AI-платформы, учитывать аспекты безопасности и не ограничиваться только правильной параметризацией значений, но и параметризацией имен полей JSON. Только так можно предотвратить подобные уязвимости и защитить конфиденциальную информацию.