VaultGemma: Google представила самую открытую языковую модель с дифференцированной конфиденциальностью

VaultGemma: Google представила крупнейшую открытую языковую модель с дифференцированной конфиденциальностью Google Research совместно с DeepMind представили VaultGemma — новую языковую модель с 1 миллиардом параметров, которая полностью обучена с использованием технологии дифференцированной конфиденциальности (DP). Об этом говорится в блоге Google Research. Это самая крупная на сегодня открытая модель такого. Она уже доступна на платформах Hugging Face и Kaggle. Дифференцированная конфиденциальность добавляет к данным специально сгенерированный «шум», что делает невозможным запоминание конфиденциальной информации. Такой подход, говорят в компании, повышает безопасность, но одновременно усложняет тренировку моделей, увеличивает расходы ресурсов и требует больших объемов данных. «Законы масштабирования» — правила, описывающие, как балансировать между качеством обучения, объемами данных, ресурсами и уровнем приватности. Используя эти результаты, исследователи создали оптимальные условия для тренировки VaultGemma. учебные примеры, а следовательно — не запоминает частную информацию.Иными словами: даже в случае запросов, близких к учебным примерам, модель не может выдать частные данные пользователей.В Google подчеркивают, что VaultGemma является важным шагом в направлении создания безопасного и ответственного искусственного интеллекта.Хотя разрыв в качестве между постепенно сократить.