В последние годы машинное обучение прочно вошло в научный мир, вдохновляя исследователей использовать его возможности для решения сложных уравнений с частными производными (PDE), особенно в области гидродинамики. Эти уравнения описывают динамику жидкостей и газов, что является фундаментальной проблемой в различных областях науки и техники. Возможность значительно ускорить и улучшить вычислительные методы посредством машинного обучения вызывает неподдельный интерес, но одно из последних исследований указывает на серьезные проблемы, которые могут создавать чрезмерный оптимизм относительно таких подходов. Основная задача ML-решателей PDE заключается в том, чтобы находить решения быстрее и с достаточной точностью по сравнению с традиционными численными методами. Однако чтобы правильно оценить эффективность, необходимо сравнивать результаты именно с сильными и адекватными эталонными методами.
К сожалению, как показал систематический обзор литературы, 79% исследований, претендующих на превосходство машинного обучения в решении PDE, базируются на сравнении с слабым эталоном. Это коренная причина переоценки достижений машинного обучения в данной области. Почему же возникают слабые эталоны? Во многих случаях традиционные численные методы, к которым сравнивают модели машинного обучения, выбраны либо устаревшие, либо настроены недостаточно оптимально. Иногда это происходит из-за сложности адаптации современных продвинутых численных алгоритмов, а иногда из-за неправильного понимания исследователями установленного стандарта. Вследствие этого машинные модели демонстрируют улучшения не столько за счет своей фундаментальной эффективности, сколько из-за неудачно выбранного базиса для сравнения.
Помимо слабых эталонов, большая проблема заключается в систематических искажениях в публикациях, которые влияют на восприятие реальных возможностей ML-моделей. Речь идет об ошибках репортинга, таких как смещение в сторону положительных результатов и уход от публикации неудачных, негативных или нейтральных данных. Даже если исследование не показало существенного преимущества машинного обучения, это редко прозрачно отражается в литературе. Такая практика приводит к значительному переоцениванию потенциальных возможностей и порождает избыточный оптимизм, который не всегда подтверждается в реальном прикладном контексте. Эти явления тесно связаны с теми же структурными и культурными проблемами, что ранее приводили к репродуцируемому кризису в науке.
Свобода выбора методологии (researcher degrees of freedom), некорректное отчетывание, а также акцент на положительные находки создают неблагоприятную среду для объективной оценки новых методов. В машинном обучении для PDE это особенно критично, поскольку возросшая популярность и высокая конкуренция способствуют желанию получить яркие, запоминающиеся результаты. Чтобы преодолеть данные проблемы, необходимо комплексное воздействие как снизу, через изменение культурных практик в научных коллективах, так и сверху, через реформы в структуре стимулирования исследований. Культурные изменения подразумевают более честное и прозрачное представление результатов, включение промежуточных и отрицательных результатов в публикации и открытость к критической переоценке существующих эталонов. Реформы должны нацеливаться на снижение перверсных стимулов, которые поощряют приукрашивание данных, например, корректировку критериев публикации и финансирования, чтобы главными приоритетами становились качество и воспроизводимость.
Еще одним важным аспектом является внедрение более строгих и репрезентативных бенчмарков для сравнений. Чем сильнее и современнее эталоны, тем объективнее будет оценка реального преимущества машинного обучения в данной сфере. Это позволит не только избежать ложного оптимизма, но и выявить области, где ML действительно может совершить прорыв, а где пока необходимы дополнительные исследования и разработки. В целом, нельзя недооценивать потенциал машинного обучения в решении PDE, способного значительно ускорить численные расчеты и расширить горизонты в моделировании сложных явлений. Однако для достижения этого потенциала необходимы объективность, честность и высокий стандарт научных исследований.
Только комплексный и системный подход к критике и сопровождению разработки новых методов позволит выстроить реалистичные ожидания и оптимально использовать ресурсы для прогресса. В свете вышесказанного, исследовательское сообщество приглашено пересмотреть свои методы работы, уделять больший акцент качеству проверки и отчетности результатов, а также сотрудничать в создании единых стандартов сравнения. Это не только повысит доверие к применению ML в вычислениях гидродинамических PDE, но и окажет позитивное влияние на развитие всей области машинного обучения и численных методов в целом.
