6

Ответ на пост «Упрощенная обработка естественного языка»

Вот задумался - вместо того чтобы учиться говорить формализовано четко и грамотно, чтобы даже компьютер понимал команды, человеки учат компьютер понимать любую белиберду. Конечно, проще же не самим совершенствоваться а понаделать костылей, вбросив ресурсов.
---
Вспомнилось в этой связи как работал офисным сисадмином. Было это давно и тогда мало кто из пожилых бухгалтеров и клерков умел работать за компьютером. Однако все делились на 2 группы - тех кто хочет понять и разобраться и тех кто просто начинал верещать при любой проблеме, даже не пытаясь понять в чем причина. Чаще всего причина визга второй группы была в том что они сами не хотели понимать как и что делать.
Я не любил никогда строить из себя крутого админа и как-то тешить своё эго. Всем абсолютно старался разжевать и объяснить по максимуму как что и почему произошло/происходит, как всё устроено, но толко в рамках разумного. Незачем бухгалтеру знать особенности сетевых протоколов, но вот структуру каталогов где что лежит и как сохранить правильно в новый файл - стоит.
Со временем удавалось многих так или иначе обучить. Проблем становилось меньше, все всё успевали, у меня появлялось время на развитие. Те же, кто упорно не хотел понимать даже азы, зачастую куда-то отваливались.

---

Что-же происходит сейчас? Вместо того чтобы изучать технологии и принципы информационного общества, да и просто изучать что-либо для самосовершенствования, большинство с радостью просто перекладывают задачи на ИИ. Вроде и дело движется и все счастливые, но развитие замедляется. При этом все знания ИИ построены на существующих данных, результатах работы людей. Чем больше результатов получены с помощью ИИ тем больше сами ИИ обучаются на "своих" трудах. Количество трудов произведенных без использования ИИ постепенно уменьшается. Накапливаются какие-то ошибки, которые люди не отлавливают в момент использования и по сути дела выплескивают в свободный доступ чтобы ИИ принял это как проверенную информацию.

Так Уроборос пожирает себя. Люди же, в своём стремлении к комфорту, способствуют этому изо всех сил. Это очень похоже на ситуацию с офисом бухгалтеров и клерков. Зачем понимать даже минимум если можно "пнуть" сисадмина? Так же и с ИИ. Если что-то не понятно - спрашиваешь в чатике искуственного помощника и получаешь ответ. Только этот помощник не стремится объяснит все аспекты. В него не заложена функция обучения, даже с целью чтобы его меньше беспокоили. И обучается он на чем-то не всегда проверенном, не оцененном критически. Не ясно к чему это может привести.
---
Что-же можно предложить для улучшения ситуации? Может ИИ стоит ограничить не только морально-этически, как это сделано сейчас (и то от части). Возможно стоит ограничить обучение чтобы ИИ как-либо понимали что на вход подается материал который уже был "переварен". Также не стоит так фанатично делать доступным их функционал для всех, не упрощать а наоборот предъявлять какие-то требования к базовым знаниям человека прежде чем он сможет использовать ИИ в своей работе. В ответы стоит добавлять больше обучения, а возможно добавить ИИ "лень" чтобы он старался ответить так чтобы больше к нему не подходили с подобными вопросами.

К сожалению даже эти предложения не возможно донести, а тем более обсудить с создателями. Их основная задача - зарабатывать на новой технологии, пока она приносит максимальные прибыли. Какие-либо ограничения не будут вводиться, если не требуются для получения выгоды. Поэтому я и решил написать этот пост-ответ, чтобы по возможности обратить внимание простых пользователей ИИ на возможные проблемы.

Не стоит использовать ИИ без критической оценки результатов. ИИ как инструмент помогает быстрее проанализировать много источников и сделать выводы, но они всегда должны быть Вам понятны. Если, после того как задали вопрос ИИ, Вы получили ответ без пояснений логики, задайте уточняющие вопросы, проверьте правильность и логичность, обратитесь к известным Вам фактам. Только после этого стоит применять полученные результаты в работе или публиковать их.

Спасибо тем, кто дочитал. Надеюсь Вы сделаете выводы.

Показать полностью
4

Упрощенная обработка естественного языка

Обработка естественного языка (Natural Language Processing, NLP) — это основа, благодаря которой GPT и другие ИИ-модели понимают и генерируют текст. Она позволяет машинам анализировать и интерпретировать человеческий язык, помогая устранить разрыв между живым общением и машинной обработкой данных.

Основные компоненты NLP

Для эффективного взаимодействия с текстом NLP использует разные методы и технологии. Рассмотрим ключевые из них.

Токенизация — разбиение текста на части, а точнее разделение текста на отдельные слова, фразы или предложения (токены).

Пример: «Я люблю NLP!» → [«Я», «люблю», «NLP», «!»]

Почему это важно? Токенизация помогает системе анализировать структуру предложения и находить взаимосвязи между словами.

Анализ синтаксиса и семантики включает в себя:

синтаксический анализ проверяет грамматическую структуру предложений;

семантический анализ помогает понимать смысл слов и фраз в контексте.

Пример: «Кот сидит на подоконнике.»

Синтаксический разбор: [«Кот» (существительное), «сидит» (глагол), «на» (предлог), «подоконнике» (существительное)].

Семантический анализ: ИИ понимает, что «кот» — это животное, а «подоконник» — предмет мебели, и связывает их с общим смыслом фразы.

Анализ настроений — это определение эмоционального тона текста: позитивный, негативный или нейтральный.

Пример:

  • «Этот фильм был потрясающим!» → Позитив

  • «Мне не понравилось, это было скучно.» → Негатив

Где используется?

  • В маркетинге (анализ отзывов о товарах).

  • В соцсетях (определение тональности комментариев).

  • В службе поддержки (автоматическое определение жалоб).

Управление диалогами позволяет GPT поддерживать связные диалоги, запоминая контекст беседы.

Примеры:

  • «Какой сегодня курс доллара?»

  • «На 27 января курс доллара – 90 рублей.»

  • «А евро?»

  • «Курс евро – 98 рублей.» (ИИ понимает, что речь о курсе валют).

Почему это важно? Если бы GPT не учитывал контекст, он мог бы ответить: «Что такое евро?», что сделало бы диалог бессвязным.

Применение NLP в GPT

NLP помогает GPT решать сложные задачи, улучшая коммуникацию и автоматизируя рутинные процессы.

  • Чат-боты и виртуальные ассистенты автоматически отвечают на вопросы, анализируют запросы клиентов, помогают с оформлением заказов.

  • Автоматический перевод переводит тексты с сохранением контекста и смысла.

  • Генерация текстов помогает писать статьи, письма, резюме, рекламные тексты.

  • Распознавание голосовых команд используется в голосовых помощниках для управления устройствами.

Проблемы NLP и их решения

Хотя NLP развивается, некоторые сложности остаются.

Контекстуальная амфиболия (многозначность слов), слово «ключ» может означать как инструмент для отпирания замков, так и источник воды (родник): «Он нашёл старый ключ в лесу.» Неясно, идёт ли речь о металлическом предмете или природном источнике. ИИ, не имея дополнительного контекста, может интерпретировать слово неправильно.

Решение: учитывать контекст предыдущих слов в предложении.

Сложности с пониманием сарказма: «Отлично, опять дождь... (сарказм)»

Решение: использование тональных маркеров и анализа текста в контексте.

Непонимание культурных различий: Ирония, сленг, мемы могут быть сложны для ИИ.

Решение: постоянное обучение модели на актуальных данных.

Вывод: как NLP меняет общение с ИИ?

NLP делает GPT умнее, помогая ему генерировать осмысленные тексты, понимать контекст диалогов и анализировать человеческую речь.

По мере развития технологий обработка естественного языка станет ещё точнее, интуитивнее и полезнее, что откроет новые горизонты для взаимодействия человека и ИИ.

Отрывок из книги: Искусственный интеллект для всех: Автоматизируй, твори, вдохновляйся. Практическое руководство

Показать полностью
Отличная работа, все прочитано!