Введение
На сегодняшний день для использования широкой публикой представлено огромное количество нейронных сетей и инструментов, основанных на различных методах машинного обучения и искусственного интеллекта.
Если два или три года назад доступ к подобным инструментам с достаточно высоким уровнем качества и надежности результатов был зачастую платным, то в данный момент у каждого человека с доступом к сети Интернет имеется возможность внедрить прогрессивные инструменты в свою жизнь как путем использования облачных ресурсов, так и развернув ту или иную нейронную модель на своей локальной машине для решения коммерческих или личных задач с высоким уровнем конфиденциальности данных.
Хотим поделиться опытом тестирования возможностей бесплатной нейронной сетевой языковой модели DeepSeek. Ранее, порядка двух лет назад, была проведена подобная оценка Chat GPT, поэтому в процессе изложения буду отмечать некоторые особенности, основанные на сравнении этих инструментов.
Самообразование и ответы на очевидные вопросы в науке
С DeepSeek было разобрано порядка 5 тем в части криогенной и холодильной техники. Обсуждение в этой рубрике строилось в формате «ученик» - «учитель», т.е. я не исправлял модель, если она ошибалась в рассуждениях, а продолжал задавать вопросы, чтобы более «глубоко» разобраться в вопросе.
При ответе на некоторые вопросы модель сама обнаруживала противоречия и уходила от них. В момент проведения эксперимента модель не умела изображать схемы в формате картинок, что затрудняло восприятие некоторых данных – сейчас эта проблема исключена.
✅ Если запрос имеет точные и, главное, корректные с научной точки зрения структуру и формулировки, то при условии наличия в сети или в литературных источниках подробно разобранных материалов по теме запроса модель выдает грамотный и достаточно точный по академическим меркам ответ.
В целом, при наличии у пользователя базовых знаний по определенной дисциплине возможно использование нейронных моделей в образовательных целях и усиления личных компетенций в определенных вопросах.
✅ Полагаем, во многих вопросах по специальности уже в данный момент времени модель отвечает развернуто и в соответствии с субъективным уровнем подготовки пользователя, в манере которого был задан вопрос.
При анализе во внимание принималась текстовая часть ответов, а также корректность и уместность использования аналитических выражений. Корректность определения теплофизических свойств рабочих веществ и расчета численных значений не учитывалась, поскольку во многих случаях обсуждение проходило в формате вариации исходных параметров, где модель после 2 или 3 итераций ошибалась в подстановке численных значений.
✅ Это говорит о принципиальной необходимости проверки численных значений в аналитических выражениях при каком-либо использовании результатов, выданных моделью.
При получении в результатах запроса информации с неявной ссылкой на публикации или научную литературу у модели запрашивались название и авторы такого материала. Во всех случаях модель выдавала несуществующие названия статей, несоответствующий перечень авторов, некорректный DOI и пр. Chat GPT два года назад в альтернативной ситуации выдавал вполне адекватный список материалов и их реквизиты. Однако, такое нормальное поведение Chat GPT в данный момент времени не наблюдается – список материалов, на которых обучалась модель не раскрывается, что является большой проблемой при валидации информации.
✅ Информация, объявляемая моделью как факт, должна быть проверена и соотнесена с реально существующими источниками. В противном случае это приведет к явлению «фальсификации» результатов.
Нам доводилось проверять работы, написанные нейронной моделью, которые студенты, не отличающиеся высоким уровнем подготовки, пытались сдать без какой-либо редакции в качестве домашнего задания. Понять, что текст написан моделью, можно на дистанции трех абзацев.
✅ Ответ модели всегда требует последующей редакции и проверки содержания на адекватность, а также наличие смысловой нагрузки сверх содержания запроса, который, как правило, задается пользователем в объеме не более двух предложений и может быть восстановлен проверяющим. В противном случае при глубоком анализе материала на одной странице получаются 3-5 абзацев с одной и той же идеей, высказанной разными словами.
К сожалению, сегодня многие люди не понимают, зачем нужны работы, которые требуется выполнить в процессе обучения. Работы письменного характера нацелены на отработку студентами навыка грамотного доклада о ходе выполняемых работ и об их результатах. Каким бы технически «сильным» специалистом ни был человек, пренебрежение правилами родного языка или отсутствие навыка грамотно изъясняться на бумаге или в разговорной речи существенно снижает его ценность и уровень деловой репутации.
✅ Нейронные модели и другие достижения информационных технологий должны быть помощниками в решении задач, а сам специалист – источником уникальных решений, которые вытекают из опыта и знаний.
Аттестация и оценка знаний
Для этого испытания способностей модели был составлен запрос вида:
«Задай 10 самых сложных вопросов по криогенной технике и технологии»
После получения перечня вопросов последовало указание оценивать полноту и качество ответов на каждый вопрос без учета отсутствия аналитических выкладок по численным результатам в ответах по шкале от 1 до 5 баллов, после ответа на все вопросы – выдать итоговый результат с характеристикой каждого ответа.
Вопросы моделью были составлены абсолютно грамотно и действительно имеют гриф «высокой сложности» в криогенной технике. Этот тест я прошел только один раз, чтобы не использовать в последующих попытках преимущество в части понимания методики оценки ответов моделью, состава вопросов и их специфики. Главное – модель начисляет баллы не только за конкретный ответ, но и за состав и количество научных фактов, которые этот ответ сопровождают.
В перечне были достаточно разнородные вопросы, начиная от характеристик циклов ожижения и заканчивая свойствами сверхпроводников и других материалов при низких температурах. В перечне вопросов не было тем, которые так или иначе не были бы рассмотрены в процессе обучения на специалитете и в аспирантуре – считаем это отличным показателем. После получения ответов на все вопросы модель оценила уровень автора на 4,2 балла, объяснив, это тем, что невозможно без аналитических выкладок обосновать названное автором значение степени термодинамического совершенства цикла ожижения азота с детандером, которое оказалось абсолютно верным.
В целом, с учетом уровня сложности вопросов и их широкой направленности оценка вполне объективная. Результат можно существенно повысить, если проанализировать логику оценки ответов моделью и их ожидаемую структуру.
✅ Метод оценки полноты знаний в области специальных интересов посредством ответов на вопросы нейронной модели является весьма интересным.
Можно разделить результаты на две категории: качественный результат и количественный результат.
✔️ Качественный результат можно считать положительным, если пользователь может в принципе дать ответ на все вопросы из перечня, сгенерированного нейронной сетью, без пропусков.
Количественный результат градировать сложнее, поскольку модель не верит цифрам без аналитических выкладок и не принимает ответ как полностью корректный.
✔️ Полагаем, результат выше 3,5 баллов является показателем отличного уровня подготовки для выпускников специалитета кафедры Э4.
Решение прикладных инженерных задач
Самый практичный и прогрессивный способ использования нейронной модели – решение прикладных инженерных задач. Для анализа этой возможности в модель был передан запрос:
Проведи тепловой и конструктивный расчет компрессора, если давление на всасывании 1 бар, на нагнетании 10 бар, температура окружающей среды 300 K, рабочая среда воздух, относительная влажность 80 %. Расход рабочей среды 900 кг/ч, изоэнтропный КПД 0,76. Компрессор центробежный многоступенчатый с масляными опорами. Частота вращения ротора 12000 об/мин, число ступеней 4. Подбери давление между ступенями так, чтобы температура сжатия после каждой ступени была одинаковой. Окружная скорость на рабочих колесах не более 310 м/с.
Спустя порядка 25…30 уточнений подходов к выполнению расчетов, корректировок значений принимаемых коэффициентов и дополнений запроса, модель выполнила тепловой, конструктивный, технологический и экономический расчеты, а именно:
- определены параметры рабочей среды на входе, выходе и между ступенями (без замечаний);
- объем и место отвода конденсата между ступенями, промежуточное и концевое охлаждение (без замечаний, возможно перейти на расчет АВО в контексте расчета машины);
- определены конструктивные параметры проточных частей каждой ступени, роторов и опор (с корректировкой коэффициентов);
- определение массы и моментов инерции роторов и подвижных элементов (средняя точность);
- определение первой собственной частоты роторных сборок 1-2 и 3-4 ступеней (значения некорректны);
- расчет осевых сил, назначение зазоров (средняя точность);
- определение параметров мультипликатора, подбор электродвигателя (без замечаний);
- выбор конструкционных материалов (без замечаний, модель обдуманно признает смену материала по необходимости);
- расчет объемов материалов и заготовок (средняя точность);
- определение трудоемкости изготовления и выполнения сборочных операций (низкая точность);
- расчет стоимости всех этапов разработки и постановки изделия на производство (низкая точность, не в реалиях РФ);
- составление регламентов и процедур для монтажа, обслуживания и эксплуатации (общие фразы, поверхностно);
- программа и методика заводских испытаний (общие фразы, поверхностно).
Полученные результаты в совокупности выглядят весьма эффектно. Модель понимает специфику процессов разработки документации и постановки машины на производство, т.е. в руках грамотного специалиста может сэкономить много времени на подготовку нулевой ревизии необходимой документации.
⚠️ С другой стороны, при решении этой и других задач с использованием нейронной модели ни разу корректные результаты не были получены без исправлений и корректировок алгоритма с первого раза. В некоторых случаях наблюдались абсурдные результаты с эффективность более 100 % или нарушением фундаментальных законов сохранения массы и энергии. Как отмечалось ранее, все численные значения, полученные по аналитическим зависимостям, необходимо проверять вне модели с использование соответствующих средств.
✅ Отсюда вытекает важный тезис: изучать нейронные модели и получать навыки работы с ними в настоящий момент необходимо всем специалистам, в том числе студентам.
Коллегами из Китая установлено, что нейронные сетевые регуляторы, построенные на базе двух нейронных сетей с соответствующей архитектурой для прогнозирования условий протекания процессов в следующий момент времени и определения состояния исполнительных устройств, выполняют функции по управлению технической системой на 20…23 % быстрее, чем классические PID-регуляторы.
Узнать подробнее о том, как нейронные сети и машинное обучение сегодня развиваются для управления техническими системами, можно в статье.