Закон или ограничения?

Для того, чтобы нейронная сеть могла самостоятельно обучиться на данных, необходимо, чтобы была сформулирована ЦЕЛЕВАЯ функция. Обычно это формула для вычисления какого-то итогового значения, зависящего от входных параметров, которое мы хотим увеличить или сделать оптимальным.

Но очень часто мы не можем сформулировать целевую функцию, не знаем как это сделать. И в таком случае прибегают к противоположному способу — пытаются сформулировать функцию, которая вычисляет ошибку, и стараются минимизировать значение функции ошибки.

Иными словами, когда мы не знаем, что и как нужно сделать, чтобы было хорошо, мы пытаемся хотя бы определить, чего нельзя делать, чтобы не было совсем плохо. Мы пытаемся ввести ограничения и вводим штрафы и наказания за их нарушение. Но этот способ не гарантирует нахождение хорошего решения. Он может сделать решение очень сложным и запутанным, но все же это будет не лучшее решение. Нейронная сеть будет долго-долго учиться, но в итоге на независимых данных выдаст какую-нибудь ерунду.

Это можно сравнить с заповедями в религии. Заповеди — это не нравственный закон, это запреты и ограничения для тех людей, которые не знают нравственный закон. Человек, который не знает, как жить правильно и в мире, должен хотя бы знать, как нельзя жить, чтобы не создавать лишних проблем. Но человек, знающий, интуитивно понимающий нравственный закон, не нуждается в заповедях. Ему просто в голову не придет кого-то убить или ограбить. И этим закон Божий отличается от законов человеческих. Он не может быть навязан извне, он только может быть принят изнутри и воспитан любовью.