Природный закон или переобучение?

Проблема переобучения

В программировании нейронных сетей (и вообще в машинном обучении) существует проблема переобучения. Суть её заключается в том, что алгоритм очень хорошо, иногда идеально подстраивается под тренировочные данные, но на тестовых данных показывает плохие результаты. Например, на тренировочных данных он показывает точность распознавания 99%, а на тестовых — 45%. Это означает, что мы не обнаружили природную закономерность, а просто подогнали веса под данную выборку.
Существует множество методов борьбы с этой проблемой, но речь пойдет не об этом. Я хотела бы порассуждать о том, почему такая проблема возникает в принципе, и что означает «открыть природный закон»? Не зная этого, мы никогда не сможем решить проблему переобучения.

Когда речь идет о законах физики или химии, открытие закона означает понимание полного цикла природного процесса. Например, взаимосвязь электрического и магнитного полей, понимание взаимосвязи материи и энергии, процессов восстановления и окисления и т. д. Зная эти законы, мы можем не просто предсказывать, догадываться, но знать уверенно, что произойдет в том или ином случае.

Когда нейронные сети начинают применять для изучения социальных, экономических или иных явлений, связанных с человеком, возникает вопрос: а какой природный закон мы хотим обнаружить?

Совершенно очевидно, что предсказать поведение и понять логику развития человеческого общества невозможно до тех пор, пока оно не подчинено какому-то единому нравственно-природному закону. Общество, в котором каждый живет по своим законам и пытается навязывать свои порядки, отрицая единый природный закон, развивается не гармонично, а хаотично. И попытки найти какие-то закономерности по внешним признакам всегда приведут к проблеме переобучения. Иными словами, пытаясь подстроиться под каждого человека, под его бессознательные прихоти, мы никогда не сможем понять человеческую природу и наше место в мироздании, мы никогда не сможем понять друг друга.

Но такие цели и не ставятся перед машинными алгоритмами. Их просто используют для того, чтобы изучить поведение той или иной социальной группы. Как правило для того, чтобы определить, какой товар им следует предложить, какую рекламу навязать и сколько прибыли это может принести. Это путь, который не ведет к познанию человека, к взаимопониманию между людьми, а только увеличивает степень непредсказуемости в обществе. Что мы и наблюдаем сегодня.

Более логичный и правильный подход состоит в том, чтобы отталкиваться от поисков единого природного нравственного закона, который связывает в единый цикл процессы жизни и смерти. Только понимая этот закон, мы сможем ясно представлять цели и задачи человека, соответствующие его природе. Только в том случае, когда закон этот будет понят каждым человеком, наше общество станет понятным и предсказуемым, разумным и осознанным.