Новый отчет, соавтором которого выступил бывший сотрудник М⃰ и информатор Артуро Бехар, утверждает, что «осознанные дизайнерские решения» И⃰ делают приложение небезопасным для подростков. Согласно исследованию, большинство функций безопасности М⃰ являются «удручающе неэффективными» или более недоступными, несмотря на публичные заявления компании об обратном. М⃰ категорически отвергла эти обвинения, назвав отчет «вводящим в заблуждение» и защищая свои меры по обеспечению безопасности несовершеннолетних как «лидирующие в отрасли».
Отчет, опубликованный в четверг, был подготовлен в сотрудничестве с группой Cybersecurity For Democracy (Нью-Йоркский и Северо-Восточный университеты), а также некоммерческими организациями The Molly Rose Foundation, Fairplay и ParentsSOS. Авторы подчеркивают, что их анализ был сосредоточен именно на дизайне И⃰, а не на модерации контента. Это различие, по их словам, имеет решающее значение, чтобы не путать улучшение платформы с вопросами цензуры или свободы слова. Для исследования были созданы тестовые аккаунты подростков, а также «вредоносные аккаунты взрослых и подростков» для проверки механизмов взаимодействия и защиты.
Количественный анализ показал, что из 53 функций безопасности М⃰ для подростков в И⃰ было оценено 47. Большинство из них были признаны либо недоступными, либо неэффективными. Некоторые инструменты действительно снижали вред, но имели «заметные ограничения». Только 8 функций работали так, как было заявлено, без каких-либо нареканий.
Одним из ключевых провалов является возможность взрослых связываться с несовершеннолетними через множество функций, «присущих дизайну И⃰». В отчете утверждается, что дизайн продукта «необъяснимым образом не включает в себя никакого эффективного способа» для подростка сообщить о нежелательных сексуальных домогательствах или неуместных контактах.
Функция исчезающих сообщений, по данным исследования, активно продвигается подросткам с помощью «анимированного вознаграждения». Авторы предупреждают, что этот инструмент используется для опасной деятельности, такой как продажа наркотиков и груминг. Кроме того, функция фильтрации оскорбительных слов оказалась «в значительной степени неэффективной». В качестве примера приводится сообщение с призывом «убить себя» и содержащее «вульгарный термин для женщин», которое не было отфильтровано и не получило никаких предупреждений.
Алгоритмы платформы рекомендовали тестовым подростковым аккаунтам вредоносный и не соответствующий возрасту контент. Сюда входили «графические сексуальные описания, использование мультфильмов для описания унизительных сексуальных актов и краткие демонстрации наготы». Также рекомендовались ролики с жестокими сценами: люди, сбитые транспортом, падающие с высоты насмерть и получающие графичные переломы костей. Кроме того, алгоритмы продвигали широкий спектр контента, связанного с самоповреждением и проблемами с образом тела.
Исследователи обнаружили на платформе детей младше 13 лет, некоторым из которых было всего шесть. Выяснилось, что алгоритм поощрял их к «сексуализированному поведению, такому как вызывающие танцы», чтобы получить больше вовлеченности.
М⃰ назвала отчет «вводящим в заблуждение, опасно спекулятивным», заявив, что он «подрывает важный диалог о безопасности подростков». Компания обвинила авторов в искажении ее усилий и неверном представлении о работе инструментов безопасности. По заявлению М⃰, ее «подростковые аккаунты лидируют в отрасли», предоставляя автоматическую защиту и родительский контроль. Компания утверждает, что подростки, использующие эти настройки, сталкиваются с меньшим количеством деликатного контента, нежелательных контактов и проводят меньше времени в И⃰ по ночам.
Касательно неработающего фильтра сообщений, М⃰ заявила, что этот инструмент был предназначен только для фильтрации запросов на переписку, а не всех сообщений между аккаунтами. Примечательно, что в тот же четверг, когда был опубликован отчет, М⃰ расширила действие своих подростковых аккаунтов на пользователей по всему миру. При этом компания до сих пор не раскрыла, какой процент родителей пользуется ее инструментами родительского контроля.
Критика в адрес М⃰ звучит и со стороны властей. Рауль Торрес, генеральный прокурор штата Нью-Мексико, подал иск против компании, обвиняя ее в неспособности защитить детей от хищников. Торрес раскритиковал М⃰ за то, что она «удваивает усилия, чтобы убедить родителей и детей в безопасности платформ М⃰, вместо того чтобы обеспечить их реальную безопасность».
Авторы отчета предложили М⃰ ряд конкретных шагов для улучшения ситуации. Среди рекомендаций: проводить регулярное «red-team» тестирование систем обмена сообщениями и блокировки; предоставить подросткам «простой, эффективный и поощряемый способ» сообщать о недопустимом поведении в личных сообщениях; публиковать данные об опыте подростков в приложении; гарантировать, чтобы алгоритмические рекомендации для аккаунта 13-летнего пользователя были «разумно оценены как PG-рейтинг»; а также активно опрашивать молодых пользователей об их опыте столкновения с деликатным контентом, включая его «частоту, интенсивность и серьезность».
Отчет, опубликованный в четверг, был подготовлен в сотрудничестве с группой Cybersecurity For Democracy (Нью-Йоркский и Северо-Восточный университеты), а также некоммерческими организациями The Molly Rose Foundation, Fairplay и ParentsSOS. Авторы подчеркивают, что их анализ был сосредоточен именно на дизайне И⃰, а не на модерации контента. Это различие, по их словам, имеет решающее значение, чтобы не путать улучшение платформы с вопросами цензуры или свободы слова. Для исследования были созданы тестовые аккаунты подростков, а также «вредоносные аккаунты взрослых и подростков» для проверки механизмов взаимодействия и защиты.
Количественный анализ показал, что из 53 функций безопасности М⃰ для подростков в И⃰ было оценено 47. Большинство из них были признаны либо недоступными, либо неэффективными. Некоторые инструменты действительно снижали вред, но имели «заметные ограничения». Только 8 функций работали так, как было заявлено, без каких-либо нареканий.
Одним из ключевых провалов является возможность взрослых связываться с несовершеннолетними через множество функций, «присущих дизайну И⃰». В отчете утверждается, что дизайн продукта «необъяснимым образом не включает в себя никакого эффективного способа» для подростка сообщить о нежелательных сексуальных домогательствах или неуместных контактах.
Функция исчезающих сообщений, по данным исследования, активно продвигается подросткам с помощью «анимированного вознаграждения». Авторы предупреждают, что этот инструмент используется для опасной деятельности, такой как продажа наркотиков и груминг. Кроме того, функция фильтрации оскорбительных слов оказалась «в значительной степени неэффективной». В качестве примера приводится сообщение с призывом «убить себя» и содержащее «вульгарный термин для женщин», которое не было отфильтровано и не получило никаких предупреждений.
Алгоритмы платформы рекомендовали тестовым подростковым аккаунтам вредоносный и не соответствующий возрасту контент. Сюда входили «графические сексуальные описания, использование мультфильмов для описания унизительных сексуальных актов и краткие демонстрации наготы». Также рекомендовались ролики с жестокими сценами: люди, сбитые транспортом, падающие с высоты насмерть и получающие графичные переломы костей. Кроме того, алгоритмы продвигали широкий спектр контента, связанного с самоповреждением и проблемами с образом тела.
Исследователи обнаружили на платформе детей младше 13 лет, некоторым из которых было всего шесть. Выяснилось, что алгоритм поощрял их к «сексуализированному поведению, такому как вызывающие танцы», чтобы получить больше вовлеченности.
М⃰ назвала отчет «вводящим в заблуждение, опасно спекулятивным», заявив, что он «подрывает важный диалог о безопасности подростков». Компания обвинила авторов в искажении ее усилий и неверном представлении о работе инструментов безопасности. По заявлению М⃰, ее «подростковые аккаунты лидируют в отрасли», предоставляя автоматическую защиту и родительский контроль. Компания утверждает, что подростки, использующие эти настройки, сталкиваются с меньшим количеством деликатного контента, нежелательных контактов и проводят меньше времени в И⃰ по ночам.
Касательно неработающего фильтра сообщений, М⃰ заявила, что этот инструмент был предназначен только для фильтрации запросов на переписку, а не всех сообщений между аккаунтами. Примечательно, что в тот же четверг, когда был опубликован отчет, М⃰ расширила действие своих подростковых аккаунтов на пользователей по всему миру. При этом компания до сих пор не раскрыла, какой процент родителей пользуется ее инструментами родительского контроля.
Критика в адрес М⃰ звучит и со стороны властей. Рауль Торрес, генеральный прокурор штата Нью-Мексико, подал иск против компании, обвиняя ее в неспособности защитить детей от хищников. Торрес раскритиковал М⃰ за то, что она «удваивает усилия, чтобы убедить родителей и детей в безопасности платформ М⃰, вместо того чтобы обеспечить их реальную безопасность».
Авторы отчета предложили М⃰ ряд конкретных шагов для улучшения ситуации. Среди рекомендаций: проводить регулярное «red-team» тестирование систем обмена сообщениями и блокировки; предоставить подросткам «простой, эффективный и поощряемый способ» сообщать о недопустимом поведении в личных сообщениях; публиковать данные об опыте подростков в приложении; гарантировать, чтобы алгоритмические рекомендации для аккаунта 13-летнего пользователя были «разумно оценены как PG-рейтинг»; а также активно опрашивать молодых пользователей об их опыте столкновения с деликатным контентом, включая его «частоту, интенсивность и серьезность».
