Что DevOps нужно знать о ChatGPT

Как они это делают?!

Есть две модели обучения машины: без учителя и с учителем. Модель с учителем использует помеченные данные для прогнозирования результатов, а модель без учителя — нет. Моделям с учителем нужно большое количество аннотированных данных, чтобы изучить конкретную задачу, и им также важен контекста пределами задачи, для которой они были обучены.

Генеративная языковая модель (наш GPT) отличается от дискриминационных моделей. Например, вы можете создавать фотографии животных, которые выглядят как настоящие, используя генеративную модель. А с дискриминационной моделью можете определить, является ли животное собакой или кошкой.

Генеративные модели могут назначать вероятности словам, которые предсказывают следующее слово или предложение. Обученный преобразователь уникален, потому что он использует как неконтролируемое, так и контролируемое обучение из немаркированного текста.

Модели в духе ChatGPT — всегда отвечают пользователю «Я есть», когда их спрашивают: «Я думаю, следовательно…». Но если вы спросите ChatGPT: «Почему кролик перешел дорогу?», он может ответить так:

А люди бы ответили просто: «Чтобы добраться до другой стороны». Получается, GPT не делает различий между юмористическими ответами и конкретными, основанными на фактах. Модель делает только предположения на основе данных. А поскольку в поиске Google большинство ответов с наивысшим рейтингом являются шутками, ответ GPT в лучшем случае загадочен.

Есть и другой пример: GPT-3 попросили дать биографическую информацию о двух людях. По Авраама Линкольну инструмент сгенерировал около десяти абзацев точных фактов. По Джину Ким, автору книги Проект «Феникс». Роман о том, как DevOps меняет бизнес к лучшему GPT-3 начал придумывать факты о компаниях, в которых он работал, учитывая вторую часть названия. Кроме того, предполагалось, что он выступал на TEDx. Хотя Джин Ким говорил на TEDx, но этот был доктор Ким, который работает офтальмологом.

Текущее состояние проекта

С хирургически вводом результаты могут быть более точными. Если использовать GPT-3 для хорошо известного предмета, информация станет более правдивой.

В GPT-3 контент предсказывается путем анализа прошлого контекста по одному слову за раз. Контент, который вы вводите в GPT-3, существенно влияет на его вывод. В следствии, он извлекает слова из короткого списка и вычисляет вероятность их использования. Отличный набор руководств по использованию GPT-3 можно найти на Jasper.ai. На этом рисунке показано, как работает предсказание слов Jasper (основанное на GPT-3).

Модели InstructGPT следуют инструкциям намного лучше, чем GPT-3. Кроме того, InstructGPT дает более правдивые и менее токсичные результаты. Следовательно, они генерируют меньше вредных выходных данных и больше фактов. В моделях InstructGPT человеческая обратная связь используется как часть модели обучения. Часть реальной силы ChatGPT заключается в том, что он использует InstructGPT вместе с GPT-3.5.

Последствия для ИТ

Насколько умен ChatGPT? Используя вербально-лингвистический тест IQ и тест способностей Равена, ChatGPT получил IQ 147. GPT-3.5 сдал экзамен на адвоката США, экзамен CPA и экзамен на получение медицинской лицензии в США.

Несмотря на свои ограничения, GPT-3 создал несколько отраслевых артефактов. DALL-E и Copilot от Github — отличные инструменты. С использованием GPT-3 также было написано несколько полноценных романов; они не ужасны, но они могли бы быть лучше. Согласно исследованию, проведенному Университетом Дрекселя в 2022 году, системы на основе GPT-3 можно использовать для скрининга болезни Альцгеймера на ранней стадии.

Что это значит для специалистов DevOps?

Модели обучения ИИ, основанные на GPT-3, никуда не денутся. От исправления грамматики до генерации кода — GPT-3 произвел революцию во всем. Все еще необходимо решить некоторые проблемы, прежде чем он будет представлять реальную ценность для шаблонов и практик DevOps и DevSecOps.

Например, отличный вариант использования GPT-3 — обучение работе с организационными инцидентами. Если бы модель GPT можно было обучить таким образом, она стала бы отличным инструментом для обеспечения адаптивной диагностики. Пока это очень сложно или невозможно.

Другим примером может быть обучение модели политикам ИТ-рисков организации и включению прогностических решений. Возможности безграничны.

Некоторые из предстоящих исследований будут сосредоточены на прототипирование некоторых сложных возможностей, с которыми в настоящее время сталкиваются практики DevOps и DevSecOps, используя InstructGPT.

Предположим, вы ненавидите программировать большую часть времени. Итак, что мы можем сделать — если ваш работодатель или клиент попросит вас написать код для какой-то задачи? Обратиться к GPT! Машинное обучение на то и обучение, что робот учится — и сегодня его ответы становятся более умными.