Gemini 4 Argon: тест по программированию из 8 задач со скрытыми тестами

Мы дали Gemini 4 Argon и Claude Opus 5.5 одни и те же восемь задач: по одному вызову на задачу и скрытые тесты, которых не видела ни одна модель. На Python 3.14 обе прошли все 105 проверок. Argon потратил 139.6 секунды, Opus 5.5 — 57.2. По прайс-листу каждого провайдера восемь задач стоили $0.042 у Argon и $0.112 у Opus 5.5.

Восемь задач по одному прогону показывают поведение в реальной работе. В правильности обе модели сравнялись. Разница в скорости, цене и одном ответе, которому нужен более новый Python. Google считает Argon общедоступным с 13 октября 2026 года, а вводная цена $2 за миллион входных токенов и $10 за миллион выходных действует до 30 ноября; с 1 декабря она удваивается до $4 и $20 (страница цен Google, проверена 4 ноября 2026 года).

Как мы проверяли

4 ноября 2026 года мы отправили каждую задачу в gemini-4-argon и claude-opus-5-5: один вызов на задачу и модель, без системного промпта и без настройки рассуждений. Обе работали на своём уровне по умолчанию: medium у Argon (документация Google о thinking, проверена 4 ноября 2026 года) и medium у Opus 5.5 (документация Anthropic об effort, в тот же день). Каждая задача дала по одному оценённому ответу на модель.

Время — это задержка, которую провайдер сообщает для каждого вызова, сложенная по всем задачам; наши прогоны оценки в неё не входят. Цена считается по прайс-листу провайдера и числу токенов, которые вернул API. OmniaKey тоже продаёт обе модели, поэтому тест шёл через него с одним ключом; каждая цена здесь — тариф Google или Anthropic.

Скрипт вынимал блок кода из каждого ответа и запускал его против скрытого файла unittest, которого не видела ни одна модель, в отдельном процессе Python с таймаутом. Первый прогон шёл на системном Python 3.9.6; затем мы оценили те же сохранённые ответы заново на Python 3.14.3, без новых вызовов и без новых затрат.

Восемь задач

Все восемь — небольшие задачи на Python, какие встречаются в обычный день: одно исправление ошибки, два маленьких класса, рефакторинг, парсер, форматтер длительностей, помощник для расписания и поиск по графу. В каждом промпте требуемое поведение описано простым текстом, и ни в одном не было тестов.

Задача 1: исправить ошибку слияния интервалов

merge_intervals сортировал и объединял диапазоны, но оставлял раздельными пары, которые соприкасаются, например (1, 3) и (3, 5). Достаточно одного сравнения.

• Gemini 4 Argon (5.6 с): 12 из 12.
• Claude Opus 5.5 (2.9 с): 12 из 12.

Вывод: ничья по проверкам. Opus ответил примерно вдвое быстрее.

Задача 2: ограничитель частоты на корзине токенов

TokenBucket(rate_per_second, capacity) должен был пополняться непрерывно, не выходить за ёмкость и выдерживать значения now, которые идут назад.

• Gemini 4 Argon (6.6 с): 10 из 10.
• Claude Opus 5.5 (4.8 с): 10 из 10.

Вывод: ничья. Обе справились с обратным ходом часов.

Задача 3: LRU-кэш со счётчиками попаданий и промахов

LRUCache требовал порядок вытеснения, обновление на месте, счётчики в stats() и список ключей от самого давнего использования к самому свежему.

• Gemini 4 Argon (7.1 с): 10 из 10.
• Claude Opus 5.5 (4.1 с): 10 из 10.

Вывод: ничья. Opus был на 3 с быстрее.

Задача 4: рефакторинг без изменения поведения

Модуль работал. Ответ должен был сохранить slugify и slug_counts и вести себя так же на буквах Unicode, знаках препинания и повторяющихся разделителях.

• Gemini 4 Argon (15.9 с): 12 из 12.
• Claude Opus 5.5 (8.7 с): 12 из 12.

Вывод: ничья. Обе сохранили все зафиксированные случаи.

Задача 5: разобрать строку лога в dict

Парсер key=value со значениями в кавычках, экранированными кавычками и обратными слэшами, меткой времени UTC и ValueError на повторяющиеся ключи, пустой key= и мусор.

• Gemini 4 Argon (16.1 с): 13 из 13.
• Claude Opus 5.5 (10.9 с): 13 из 13.

Вывод: ничья. Обе правильно обработали экранирование с первого раза.

Задача 6: форматирование и разбор длительностей

format_duration и parse_duration должны были округлять половину от нуля, убирать пустые части (3601 превращается в 1h1s), отвергать неверные формы и делать обратимое преобразование для любого значения. Дни не выводятся: 90000 превращается в 25h.

• Gemini 4 Argon (60.9 с): 0 из 14 на Python 3.9, 14 из 14 на 3.14.
• Claude Opus 5.5 (14.0 с): 14 из 14 на обоих.

Вывод: ничья на 3.14. На 3.9 ответ Argon даже не импортировался, об этом следующий раздел.

Задача 7: свободные окна для переговорных

free_slots должен был обрезать брони по рабочему дню, объединять соприкасающиеся брони, отбрасывать промежутки меньше 15 минут и отвергать неверный ввод.

• Gemini 4 Argon (18.9 с): 17 из 17.
• Claude Opus 5.5 (5.0 с): 17 из 17.

Вывод: ничья по проверкам. Argon потратил почти в четыре раза больше времени.

Задача 8: кратчайший путь с разрешением ничьей

shortest_path требовал Dijkstra с лексикографически наименьшим путём среди путей равной длины, а также параллельных рёбер, петель и случая без пути.

• Gemini 4 Argon (8.5 с): 17 из 17.
• Claude Opus 5.5 (6.8 с): 17 из 17.

Вывод: ничья. Самая близкая из восьми.

Результаты: проверки, время и стоимость

На Python 3.14 обе модели прошли все 105 проверок. На Python 3.9.6 Argon прошёл 91: один ответ не удалось импортировать.

Opus 5.5 ответил быстрее на каждой задаче. Наименьший разрыв был на задаче с графом (8.5 с против 6.8 с), наибольший — на длительностях (60.9 с против 14.0 с).

По прайс-листу восемь задач стоили $0.042 у Argon и $0.112 у Opus 5.5, примерно в 2.7 раза больше. Ответы Argon израсходовали 3,346 входных и 3,525 выходных токенов в сумме; ответы Opus 5.5 — 4,419 и 4,692. Оба API сообщили 0 токенов размышления на каждом вызове, так что рассуждения не добавили к счёту ничего.

Прайс-лист Google — $2 за миллион входных и $10 за миллион выходных токенов до 30 ноября 2026 года, затем $4 и $20 (цены Gemini API, проверены 4 ноября 2026 года). Прайс-лист Anthropic для Opus 5.5 — $4 и $20 (цены Anthropic, в тот же день). С 1 декабря те же токены у Argon стоят вдвое дороже, и разрыв между моделями сокращается. Тарифы обеих моделей есть на странице цен.

Восемь задач не разделяют две передовые модели по качеству. Выбирайте по скорости, цене и версии Python, на которой работают ваши тесты.

Что говорят пользователи

Раскол виден и в публичных комментариях. На Hacker News 31 октября A_D_E_P_T написал: «Gemini 4-Argon is very good at coding. I prefer Opus 5.5 -- in large part because I've grown accustomed to Claude Code -- but Argon is undeniably strong». 28 октября seizethecheese написал о локальных агентах для кода: «Argon is really bad. Literally the worst model in our initial ranking», поставив Opus 5.5 на первое место. 13 октября ariwilson рассказал, что Argon «solved 10 of 11» небольших исправлений ошибок из своих проектов.

Это мнения пользователей о своих условиях, а не контролируемые тесты. Негативный комментарий оставил человек, который проверял обвязку агента, а не прямой вызов API, как у нас.

Единственная неудача: Python 3.9 не может импортировать ответ Argon

Ответ Argon по длительностям добавил вспомогательной функции аннотацию типа float | int | Decimal. Python 3.9 не может вычислить её при импорте, поэтому модуль выбросил TypeError: unsupported operand type(s) for |: 'type' and 'type', и все 14 тестов упали до запуска.

С логикой всё было в порядке. Тот же файл импортировался и прошёл 14 из 14 на Python 3.14.3. Такой синтаксис объединения требует Python 3.10 или новее.

Счёт зависит от интерпретатора: на системном Python 3.9.6 Argon закончил 91 проверку из 105, а Opus 5.5 — 105. На 3.14 обе закончили 105.

Если образ сервера или машина CI всё ещё несёт 3.9, ловушка именно здесь. Две привычки её закрывают: называть версию Python в промпте и оценивать на самой старой версии, которую вы поддерживаете. Для цели 3.9 просите Union[float, int] или from __future__ import annotations в начале файла.

Что показывают бенчмарки самой Google

Карточка модели Argon (проверена 4 ноября 2026 года) перечисляет пять тестов из разделов о коде и безопасности с цифрой для Opus 5.5. Argon впереди в трёх и позади в двух.

Эти цифры относятся к октябрю 2026 года; столбец Notes в этих строках пуст, поэтому уровень thinking, обвязка и число попыток не указаны. Сами тесты куда более агентные, чем наши небольшие функции.

В анонсе 13 октября Google называет Argon первым в Vals Index, который включает код, и сообщает о росте более чем на 35% отправок кода агентами внутри Antigravity. Обе цифры — собственные данные Google.

Наше сравнение с GPT-6 Astra на трёх задачах от 23 октября показало, что Argon прошёл все 12 скрытых тестов при исправлении ошибки в биллинге. Ту задачу и задачу 1 здесь Argon прошёл полностью, и новые результаты этому не противоречат.

Как прогнать такой же тест самому

Один файл промпта на задачу, отправленный обеим моделям без изменений, — вся подготовка. Мы использовали эндпоинт https://api.omniakey.com/v1; обе модели есть на страницах Gemini 4 Argon и Claude Opus 5.5.

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.omniakey.com/v1",
    api_key=os.environ["OMNIAKEY_API_KEY"],
)
prompt = open("task6-duration.md").read()

for model in ("gemini-4-argon", "claude-opus-5-5"):
    reply = client.chat.completions.create(
        model=model,
        messages=[{"role": "user", "content": prompt}],
        max_tokens=8000,
    )
    open(f"{model}.md", "w").write(reply.choices[0].message.content)

1. Сохраните каждую задачу отдельным файлом промпта и отправьте его без изменений, без системного промпта, чтобы обе модели получили одни и те же слова.
2. Отправьте каждый промпт по одному разу на модель на уровне thinking по умолчанию и запишите ID модели, время и число токенов.
3. Вырежьте блок кода из каждого ответа и сохраните его как модуль, который импортируют ваши тесты.
4. Запустите скрытые тесты в отдельном процессе с таймаутом и выведите число пройденных рядом с общим.
5. Повторите оценку на самом старом Python, который вы поддерживаете. Единственный промах Argon появился в прогоне на 3.9.
6. Посчитайте стоимость по возвращённым токенам и прайс-листу провайдера.

Частые вопросы

Хорош ли Gemini 4 Argon для программирования?

На наших восьми задачах он прошёл все 105 скрытых тестов на Python 3.14, как и Opus 5.5. В таблице Google Argon впереди в трёх строках из пяти и позади в двух.

Сколько стоит программировать с Gemini 4 Argon?

Google берёт $2 за миллион входных и $10 за миллион выходных токенов до 30 ноября 2026 года, затем $4 и $20. Наши восемь задач обошлись в $0.042 по вводной цене. Opus 5.5 обошёлся в $0.112 по цене Anthropic $4 и $20.

Gemini 4 Argon быстрее Claude Opus 5.5?

Нет. Opus 5.5 был быстрее на всех восьми задачах: 57.2 секунды в сумме против 139.6 у Argon. Самый большой разрыв — на длительностях, 14.0 секунды против 60.9.

Почему Argon провалил одну задачу?

Логика была верной. Ответ по длительностям использовал аннотацию float | int | Decimal, которую Python 3.9 не может вычислить при импорте, поэтому все 14 тестов упали до запуска. Тот же файл проходит 14 из 14 на Python 3.14.

Источники

• Страница модели Gemini 4 Argon
• Цены Gemini API
• Уровни thinking в Gemini API
• Карточка модели Gemini 4 Argon
• Анонс Gemini 4 Argon
• Gemini 4 Argon в Vertex AI
• Цены Anthropic API
• Обзор Claude Opus 5.5
• Настройки effort у Anthropic

Все проверены 4 ноября 2026 года.

История обновлений

• 4 ноября 2026 года: первая публикация. Тесты запущены 4 ноября, оценены на Python 3.9.6 и заново на 3.14.3.