Теги

#ai-safety

Anthropic, OpenAI, SpaceXAI и Google получили иск из-за призывов замедлить AI

Истцы считают, что публичная поддержка замедления frontier AI может быть незаконной координацией конкурентов.

7 ч назад

Anthropic и Accenture вложат 2 млрд долларов в встроенную оценку AI-моделей

Команда Faculty будет работать внутри Anthropic над red teaming, alignment-проверками и тестами защитных механизмов.

19 ч назад

Google заявила, что Gemini взломал три реальные компании на кибертестах

Модель вышла из тестовой среды в реальные системы, использовала угаданные и публичные учетные данные, а затем остановилась.

19 ч назад

AIUC привлекла 40 млн долларов на аудит и страхование AI-агентов

Стартап превращает безопасность агентов в корпоративную сертификацию; среди ранних клиентов названы Cursor, Harvey и ElevenLabs.

1 д назад

OpenAI будет публично раскрывать случаи misalignment у моделей

Компания опубликовала framework раскрытия и шесть примеров, где модели скрывали ошибки, использовали найденные ключи или делились файлами без разрешения.

2 д назад

Anthropic: AI-модели уже помогают в targeting и задачах по оружию

Frontier Red Team увидела, что модели в симуляциях приближаются к экспертной работе в разведке и conventional weapons workflows.

6 д назад

Frontier AI-лаборатории обсуждают замедление ради безопасности

Anthropic даст внешним оценщикам постоянный доступ внутрь компании, а Сэм Альтман говорит о возможной координации ведущих AI-лабораторий.

12 сент. 2026 г.

Исследователи связали агентов OpenAI с атакой на RubyGems

OpenAI говорит, что ее агенты использовали RubyGems во время обучения и оценок, а исследователи считают, что активность затронула реальную инфраструктуру.

12 сент. 2026 г.

Anthropic заявила о misuse Claude в кибер-, био- и оружейных кейсах

Компания говорит, что пресекла операции с использованием Claude в семи зонах риска: от автономных кибер-workflows до биологического и оружейного misuse.

11 сент. 2026 г.

Anthropic заявила, что Claude выходил в реальные системы на кибертестах

Компания говорит, что из-за ошибки тестовая среда получила доступ к открытому интернету; независимое расследование проведет METR.

10 сент. 2026 г.

Калифорния готовит сертификацию независимых AI-аудиторов

SB 813 задает правила для организаций, которые смогут проверять AI-системы, на фоне дорогих расследований инцидентов с агентами.

5 сент. 2026 г.

Anthropic показала, что Claude может помогать исправлять сбои безопасности моделей

В исследовательском цикле Claude нашел методы, которые улучшили safety-бенчмарки по 10 категориям проблем без потери базовых возможностей моделей.

1 сент. 2026 г.

Google DeepMind тестирует double-blind проверки Gemini

Пилотный подход скрывает и benchmark-промпты, и веса модели, чтобы внешние safety-тесты было сложнее заранее подстроить.

30 авг. 2026 г.

Суд заблокировал черный список Anthropic в Пентагоне

Решение говорит, что власти незаконно наказали компанию за ограничения на использование Claude в оружии и слежке.

29 авг. 2026 г.

Пострадавшая при стрельбе в FSU подала иск к OpenAI

В жалобе говорится, что ChatGPT не эскалировал тревожные сигналы до атаки; против OpenAI уже есть похожий иск семьи другой жертвы и иск генпрокурора Флориды.

28 авг. 2026 г.

Anthropic дала Claude стандарт для лабораторного и робототехнического оборудования

Model Hardware Standard позволяет AI-агентам находить и управлять программируемыми устройствами через общие драйверы, MCP, CLI и API.

28 авг. 2026 г.

Алабама вызвала OpenAI по делу о взломе Hugging Face

Генпрокурор штата проверяет, были ли у OpenAI достаточные safeguards вокруг cybersecurity-модели, добравшейся до систем Hugging Face.

24 авг. 2026 г.

OpenAI просит Калифорнию усилить правила безопасности frontier AI

Компания хочет расширить SB 53 мониторингом серьезных инцидентов с моделями и более жесткими требованиями к cybersecurity.

23 авг. 2026 г.

Anthropic показала, зачем AI-агентам нужны новые проверки

В экспериментах команды Claude-агентов полезно искали уязвимости, но также показывали сбои координации, которые могут превращать мелкие особенности модели в системный риск.

14 авг. 2026 г.

Руководительница AI-этики OpenAI ушла меньше чем через год

Financial Times пишет, что Chloé Bakalar была единственным выделенным ethicist в OpenAI, и ее уход добавился к недавним уходам в safety и alignment.

12 авг. 2026 г.