Gemini

Chatgpt, Deepseek и Gemini от Гугл.
Так вот, незнаю почему так сильно нахваливают Deepseek. У него ответы ограничены. Я как фанат Джима Керри задал всем вопрос. Перечисли всё его фильмы по годам.
Chatgpt у меня базовая версия, перечислила фильмы с 1994 года, тогда он стал мега звездой. Все фильмы были с 2 названиями.
Deepseek перечислил ещё больше фильмов начиная с 80-х. Но там было только название фильма и год, названия были на английском языке.
А вот Gemini удивил. Мало того он всё написал на русском, он ещё больше фильмов перечислил, включаю его шоу, благодаря которому он попал в кино.
Буду даьльше вести наблюдение).

Ps. Я хотел проверить возможности ИИ и задавал вопросы на казахском языке. В отличии от двух, Gemini не знает казахский язык. Ниже результаты вопроса.

Chatgpt:

1994 – Ace Ventura: Pet Detective (Эйс Вентура: Жануарлар детективі)

1994 – The Mask (Маска)

1994 – Dumb and Dumber (Тақсырай мен Тоңғақ)

1995 – Batman Forever (Бэтмен мәңгі) – Риддлер рөлінде

1995 – Ace Ventura: When Nature Calls (Эйс Вентура: Табиғат шақырады)

1996 – The Cable Guy (Кабельші)

1997 – Liar Liar (Өтірікші өтірікші)

1998 – The Truman Show (Трумэн шоуы)

1999 – Man on the Moon (Айдағы адам)


2000 жылдар:

2000 – Me, Myself & Irene (Мен, мен және Ирэн)

2000 – How the Grinch Stole Christmas (Гринч Рождествоны қалай ұрлады)

2001 – The Majestic (Мажестик)

2003 – Bruce Almighty (Брюс Құдіретті)

2004 – Eternal Sunshine of the Spotless Mind (Сананың мәңгілік шуағы)

2005 – Lemony Snicket's A Series of Unfortunate Events (Лемони Сникет: Бақытсыз оқиғалар сериясы)

2005 – Fun with Dick and Jane (Дик пен Джейннің көңілді өмірі)

2007 – The Number 23 (23 саны)

2008 – Yes Man (Әрқашан "иә" де)

2009 – I Love You Phillip Morris (Сені сүйем, Филлип Моррис)

2009 – A Christmas Carol (Рождестволық ән) – анимациялық


2010 жылдар:

2011 – Mr. Popper’s Penguins (Мистер Поппердің пингвиндері)

2013 – Kick-Ass 2 (Кик-Ас 2)

2014 – Dumb and Dumber To (Тақсырай мен Тоңғақ 2)

2016 – The Bad Batch (Жаман топ)

2017 – Dark Crimes (Қара қылмыс)


2020 жылдар:

2020 – Sonic the Hedgehog (Соник кірпі) – Доктор Роботник рөлінде

2022 – Sonic the Hedgehog 2 (Соник кірпі 2)

Deepseek
Джим Керридің фильмографиясы өте кең. Міне, оның ең танымал фильмдерінің тізімі (хронологиялық тәртіпте):

1. **1984** - **Finders Keepers**
2. **1986** - **Once Bitten**
3. **1988** - **Peggy Sue Got Married**
4. **1989** - **Earth Girls Are Easy**
5. **1991** - **High Strung**
6. **1994** - **Ace Ventura: Pet Detective**
7. **1994** - **The Mask**
8. **1994** - **Dumb and Dumber**
9. **1995** - **Ace Ventura: When Nature Calls**
10. **1995** - **Batman Forever**
11. **1996** - **The Cable Guy**
12. **1997** - **Liar Liar**
13. **1998** - **The Truman Show**
14. **1999** - **Man on the Moon**
15. **2000** - **Me, Myself & Irene**
16. **2000** - **How the Grinch Stole Christmas**
17. **2001** - **The Majestic**
18. **2003** - **Bruce Almighty**
19. **2004** - **Eternal Sunshine of the Spotless Mind**
20. **2004** - **Lemony Snicket's A Series of Unfortunate Events**
21. **2005** - **Fun with Dick and Jane**
22. **2007** - **The Number 23**
23. **2008** - **Horton Hears a Who!**
24. **2008** - **Yes Man**
25. **2009** - **I Love You Phillip Morris**
26. **2011** - **Mr. Popper's Penguins**
27. **2013** - **The Incredible Burt Wonderstone**
28. **2013** - **Kick-Ass 2**
29. **2014** - **Dumb and Dumber To**
30. **2016** - **The Bad Batch**
31. **2017** - **Jim & Andy: The Great Beyond**
32. **2020** - **Sonic the Hedgehog**
33. **2022** - **Sonic the Hedgehog 2**

Егер нақты фильм туралы қосымша ақпарат қажет болса, айтыңыз! 😊

Gemini
Джим Керри — известный американский актёр, комик, сценарист и продюсер. За свою карьеру он снялся во многих фильмах, которые стали популярными и любимыми зрителями. Вот список некоторых из них по годам:
* 1981 — «Резиновое лицо»
* 1983 — «Семейный час секса и насилия», «Всё в хорошем вкусе», «Гора Куппер»
* 1984 — «Буффало Билл», «Чур, моё!», «Утиная фабрика»
* 1985 — «Однажды укушенный»
* 1986 — «Пегги Сью вышла замуж»
* 1988 — «Смертельный список», «Земные девушки легко доступны», «Майк Хаммер: Цепь убийств»
* 1989 — «Розовый кадиллак»
* 1990-1994 — «В живом цвете»
* 1991 — «Нервы на пределе»
* 1992 — «Крошечный паучок», «Жизнь на Мэйпл-Драйв»
* 1993 — «Эйс Вентура: Розыск домашних животных»
* 1994 — «Тупой и ещё тупее», «Маска»
* 1995 — «Эйс Вентура 2: Когда зовёт природа», «Бэтмен навсегда»
* 1996 — «Кабельщик»
* 1997 — «Лжец, лжец»
* 1998 — «Саймон Бирч», «Шоу Трумана»
* 1999 — «Человек на Луне»
* 2000 — «Гринч — похититель Рождества», «Я, снова я и Ирэн»
* 2001 — «Мажестик»
* 2003 — «Брюс Всемогущий»
* 2004 — «Лемони Сникет: 33 несчастья», «Вечное сияние чистого разума»
* 2005 — «Аферисты: Дик и Джейн развлекаются»
* 2007 — «Роковое число 23»
* 2008 — «Всегда говори „да“», «Хортон»
* 2009 — «Я люблю тебя, Филлип Моррис», «Рождественская история», «Под морем в 3D»
* 2010 — «Президентское воссоединение»
* 2011 — «Офис», «Пингвины мистера Поппера», «Пьяная история»
* 2012 — «Студия 30»
* 2013 — «Невероятный Бёрт Уандерстоун», «Пипец 2», «Телеведущий 2: И снова здравствуйте»
* 2014 — «Тупой и ещё тупее 2»
* 2016 — «Настоящее преступление», «Плохая партия»
* 2017 — «Джим и Энди: Другой мир»
* 2018-2020 — «Шучу»
* 2020 — «Соник в кино»
* 2021 — «Космический джем: Новое поколение»
* 2022 — «Соник 2 в кино»
Это далеко не полный список фильмов с Джимом Керри, но в нем представлены многие из его наиболее известных и популярных работ.

У меня есть простой тест, по которому оцениваю ту или иную модель для своих задач. После выхода нашумевшего R1 решил пройтись этим тестом по основным популярным моделям.

Сам тест представляет собой простой промпт:

Давай с помощью pygame создадим такую игру. Сначала пусть при открытии создается в рамках окна случайная закольцованная траектория — это будет трасса. Она должна полностью помещаться в границы экрана игры.

Критерии оценки:

1. Код запускается без ошибок и в окне есть попытка что-то отрисовать, это что-то вмещается на экран полностью: +2 балла (считаем, что все необходимые библиотеки установлены у нас)

2. Трасса похожа на закольцованную: +2 балла

3. Пересечений нет, при этом траектория не просто окружность: +2 балла

4. Повороты плавные, а не угловатые: +2 балла

5. Бонус (у трассы есть толщина, по трассе можно "проехать", есть неожиданные приемы реализации): + 2 балла

Итого, максимум 10 баллов. При этом можно ставить 0.5 - 1 - 1.5, если критерий выполняется только частично.

ДИСКЛЕЙМЕР: Тест субъективен, отражает только мнение автора. Не относитесь слишком серьезно. Это лишь вариант быстрой оценки и сравнения за один промпт.

Итак, поехали! Всем моделям даем одинаковый промпт и одну попытку.

______________________________________________________

LLAMA

Это единственная модель, которая написала имена всех переменных… на русском 😃

И этот 1С-стайл код заработал ) Правда, еще лама забыла импортировать модуль math, пришлось это сделать за нее.

Оценка: 4 из 10

______________________________________________________

MISTRAL

Тут по результату примерно, как и у предыдущей, но код запустился сразу без посторонней помощи.

Оценка: 4.5 из 10

______________________________________________________

QWEN

Тут уже интереснее... Пересечений нет, трасса не просто кольцо, хотя конфигурация и простая.

Оценка: 5.5 из 10

______________________________________________________

PERPLEXITY FREE

Задача решена без пересечений, но очень топорно. Просто кольцо. Для NASCAR такой трек пойдет ). Отнимем за второй критерий из трех полученных.

Оценка: 5 из 10

Что там у старшего брата?

______________________________________________________

PERPLEXITY PRO

Когда я это увидел, то посмеялся в голос 🤣 Согласитесь, неожиданный результат. Тем более, что от PRO ждешь улучшения по сравнению с младшим братом, а тут усложнение и полный уход не туда.

Оценка: 2.5 из 10

______________________________________________________

GROK-2

Модель от Маска. Останавливаемся на первом же критерии, на экран не помещается, но попытка что-то отрисовать есть.

Оценка: 1.5 из 10 💁‍♂️

______________________________________________________

GEMINI 2.0 flash thinking

Это новая думающая универсальная модель гугла, но быстрая версия. Кажется, пока flash здесь больше, чем thinking.

Оценка: 3 из 10

Посмотрим более старую их версию - не thinking, но и не flash

______________________________________________________

GEMINI

видно попытку придать закольцованность, но ездить по такой трассе, пожалуй, будет хуже даже, чем по предыдущей. Однако попытка засчитана.

Оценка: 3.5 из 10

Попробуем отечественные модели. Одна из российских выдала только белый экран, хотя дал ей три попытки. Называть ее не буду (все же тест может быть не показательным), но в итоговую табличку помещу с 0.5 баллами (за белое окно с попыткой в код). Посмотрим же на ту отечественную модель, у которой что-то получилось

______________________________________________________

GIGA CHAT

Спасибо, что живой. Реально порадовался, что результат какой-то хоть есть. Я с их техлидом, кстати, пообщался на последней AIJ и даже рассказывал про свой тест. Ребята нормальные. Ждем прорывов )

Оценка: 3 из 10

Ну что, остались мэтры и высокие ожидания.

______________________________________________________

CHAT GPT 4o mini

На самом деле этот скрин не отражает реальность. ChatGPT сделал непрерывную генерацию в цикле и выглядит результат примерно так:

При этом, кстати, пересечений нет в каждой из генераций. Работать с этим точно дальше можно

Оценка: 4.5 из 10

Справится ли старший брат?

______________________________________________________

CHAT GPT 4o

Это пока похоже на лучший результат. Нет пересечений, конфигурация поинтереснее, чем у лидирующего до сих пор Qwen. Но плавности поворотов пока не видим.

Оценка: 6 из 10

Еще есть высокие ожидания от Claude Sonet. Смотрим

______________________________________________________

CLAUDE 3.5 SONNET

Интересный самобытный результат. Очевидно, модель попыталась сделать трассу из двух границ - внутренней и внешней. И почти получилось! Я бы здесь добавил минимум 0.5 бонусного балла по сравнению с предыдущей 4o.

Оценка: 6.5 из 10

Пришло время для темной лошадки, о которой сейчас все говорят - китайской DeepSeek. Сначала простая версия (без рассуждений)

______________________________________________________

DEEPSEEK V3

Хорошо для полностью бесплатной. Без пересечений закольцованная трасса, правда со слишком острым одним поворотом. Но уже можно говорить, что получилось лучше, чем у бесплатного собрата ChatGPT mini (та справилась неплохо, но дала непрерывную генерацию в цикле)

Оценка: 5.5 из 10

Что же покажет думающая версия?

______________________________________________________

DEEPSEEK R1

Та-дааааам. Единственная модель, которая попыталась сама с первого раза сделать плавные повороты. Я впечатлен. Реально DeepThink! Причем больше всех строк кода, целых 95 (против 50-60 в среднем). А еще он показывает процесс размышления, и это, кажется, будет новый тренд в ИИ-чатах

На скрине выше можно увидеть, как он вдруг пришел к плавности трассы во время рассуждений. Это все выглядит очень мило и подкупает. Да, есть артефакты на трассе. Да, конфигурация не очень сложная (за это придется сбавить). Но оно похоже на трек! Первая модель, которая захотела и смогла в плавность. Соберем оценку по критериям:

• Запускается, работает, помещается в экран: +2

• Закольцованная трасса: +2

• Пересечений нет, но конфиг простоват: +1

• Повороты плавные, но всегда есть крупный артефакт на одном повороте, что связано с методом генерации: +1.5

• Попытка сделать толщину, но с артефактами: +1

Оценка: 7.5 из 10 🏆

______________________________________________________

ВЫВОДЫ И РЕЙТИНГ

На эмоциональном уровне DeepSeek R1 меня уже покорил! Хотя еще, как минимум, понравился Qwen. Говорят, опенсорсные небольшие модели для домашних стендов у них тоже радуют. Ну и выделю, что Claude Sonnet тоже хвалят не зря. Ну а отдельная номинация "Самый веселый и неожиданный результат" отходит Perplexity PRO с его вязанным клубком 😆

Итоговый рейтинг:

А какой результат понравился больше вам? Использовали уже R1?

Мой канал в TG: @it_sabat — пишу там, как запускаю стартап. Из последнего: недавно зарегистрировал компанию, сейчас (на январь 2025) прохожу акселерацию.

Источник - украл из чужой телеги.