Наконец, через 25 лет осуществляется моя идея

Параграф 74 из книги автора "Прозрение". Полностью с фото см.:
  http://world.lib.ru/t/trahtenberg_r_m/gorodaigody-133.shtml

Научим машину говорить и слушать
 
   Не обязательно учиться разговаривать на иностранном
   языке - можно научить этому машину
 
   Многие идеи в то безработное время посещали мою освободившуюся голову. Одна из них зацепилась основательно. Погрузи любого в мир нового языка и он в отчаянии снесёт что-либо подобное.
 
   Жизнь показала, что на русском языке никто из нужных людей не говорит и не слушает, а мой иврит, как принято выражаться, "оставлял желать лучшего". Но голове может помочь машина!
 
   Мне было ясно, что сегодня ещё рано пытаться научить технику разговаривать, подобно болтливому человеку. Но её можно приспособить для самого краткого служебного диалога.
   А как это важно, я прочувствовал "на собственной шкуре".
 
   Оказавшись в Ганновере на промышленной выставке, я заблудился и не мог найти нужного выхода с её необъятной территории в сторону улочки, на которой мы жили.
   Шёл дождь и дул холодный ветер. Я промок и замёрз, боялся так некстати заболеть, но на своих языках никому даже терпеливо слушавшему полицейскому не мог растолковать, что я хочу. Все вежливо улыбались и отступались от что-то бормочущего иностранца.
 
   Я понял, что мы нуждаемся в самых простых вещах. Например, в аэропорту спросить у девушки в справочном, где доплатить за лишний вес, где посадка на мой рейс? А она тебя не понимает! А времени совсем нет!
   И ещё я почувствовал, что вот-вот мир бросит сюда огромные деньги. Ну, примерно, как на мобильные телефоны. И даже больше. У меня были основания доверять этому своему чувству. Оглянувшись в прошлое, вставала передо мной моя идея конца 60-х о "безналичных расчётах" и, вскоре, бум с кредитными карточками, буквально преобразивший мир.
 
   На самом деле, та легкость, с которой мы говорим и слушаем речь - великое чудо природы.
   Хотя это делается нами совершенно запросто, мировая наука множество лет бьётся над этой проблемой, и мало чего поняла.
   Размышляя в эту сторону, мне было абсолютно ясно, что, будучи неспециалистом, нечего и пытаться лезть в научные теории языковых дел. Но вместе с тем, было понятно, что стремительный прогресс компьютеров и разноязыкие толпы людей в крупных городах... впрочем, лучше я приведу кусочек из моего оставшегося скрытым от всех патента.
 
Patent
   Способ синхронного перевода речи
   Предлагается способ синхронного автоматического перевода речи двух или нескольких лиц, при котором каждый из них говорит и слышит собеседника на своём родном языке.
   Вид языков и их число - принципиально не ограничивается.
   Этот способ попутно решает задачу голосового взаимодействия человека с машиной.
 
   История развития современной цивилизации опровергает предположение о будущем едином языке общения всех жителей планеты. Хотя наблюдается определенная тенденция интеграции соседних государств, очевидна также и поляризация национальных культур и особенностей. Значимость родного языка в каждой стране полностью сохраняется.
   Вместе с тем, границы государств становятся всё более прозрачными, а население - многоязычным. Поэтому возрастает актуальность проблемы уменьшения или снятия языковых ограничений в общении людей.
 
   Автоматизация перевода речи происходит поэтапно.
   Вначале решается более простая задача взаимодействия человека с машиной, начиная с простейших случаев подачи голосовых команд.
   Затем осуществляются системы разговора на служебные темы, с очень ограниченным словарным и грамматическим фондом.
   Постепенно автоматические средства перевода распространятся на большинство форм общения людей, где языковые барьеры особенно досадны.
 
   Сокровенные желания людей отражаются в их творчестве. У каждого народа существуют сказания типа "ковра-самолёта" или "...повернись изба ко мне передом!".
   Если мечты о полётах во многом уже осуществились, то исполнение речевых команд оказалось делом более сложным. Пришлось ожидать изобретения и развития техники, воспроизводящей мыслительную деятельность человека.
   Компьютеры, в принципе, достигли такого уровня, когда возможна реализация в режиме реального времени полезных программ автоматического распознавания речи.
 
   Коммерческий потенциал таких средств безграничен, поскольку они удовлетворяют естественные потребности каждого человека, живущего в сообществе людей и машин.
   Скоро мир инвестирует сюда огромные денежные средства.
 
   Наука до сих пор вгрызается в "анатомию" речи. Расчленяет наш разговор на короткие звуки, а затем изучает законы их объединения в слова и фразы. Здесь открылись некоторые тайны, написаны книги и диссертации.
 
   Однако сегодня на рынке нет надёжных диктофонов и переводчиков. Сенсационных сообщений было сколько угодно. И по телевизору показывали. Но мобильный телефон сегодня почти у каждого в руках, а для передачи даже краткого сообщения по электронной почте приходится нудно ползать по клавиатуре. Нет бы просто - сказать в микрофон, а компьютер пускай сам напечатает текст.
   Может быть, Вы, мой читатель из "прекрасного далёко", усмехнулись древности автора? Какие проблемы! Да я просто говорю в свой мобильник, а мой собеседник, стоящий рядом или за тысячи километров, слышит меня через свой мобильный аппарат на своём языке. И нет между нами никакого языкового барьера!
 
   Да, таковы мечты. А пока я решил зайти с другого конца. Попробую коротко объяснить идеи.
   Не обязательно вникать, кто и что говорит, и на каком языке. Ведь микрофон слышит любую речь, а магнитофон её запоминает. И ни тот, ни другой понятия не имеют о разных языках, да и вообще малограмотны.
   Надо брать слова целиком, как они произносятся, научиться описывать общие их особенности, отличающие одно слово от другого.
   Что значит взять слово? Конечно, человек должен произнести его в микрофон, тогда на выходе этого простенького прибора появится определенная картина сигнала в виде электрического напряжения оригинальной формы. Каждое слово - своя картинка.
 
   Попробуем сделать так:
   под N1 запомним звучание слова "когда" и отличительные признаки-критерии его "картинки";
   затем под N2 - критерии и звучание слова "прилетает";
   и ещё под N3 слово - "самолёт".
   Приведённые в примере слова позволяют уже составить для служебного разговора в справочном бюро начало вопроса: "Когда прилетает самолёт...?" Таким способом можно создать словарь для служебного диалога.
 
   Ну, а как быть с переводом на другой язык? Да очень просто! Предложим англичанину произнести на своём родном языке эти же слова и добавим их в словарь под теми же номерами. Затем можно обратится к уважаемому эфиопу и под теми же номерами записать эти слова по-эфиопски.
 
   Теперь представим себе, что в аэропорту Лондона к служащей справочного бюро обращается наш эфиоп и на одному ему понятном языке спрашивает о том, когда прилетает самолёт такого-то рейса.
   Что делать девушке, которая знает только английский? Она в состоянии сделать только одно: услышать этот вопрос, звучащим по-английски, и на этом же языке произнести ответ, который эфиоп должен услышать на своём языке. Да, но как это сделать?
   Магнитофон - это штука устаревшая. Запоминать все слова и картинки, сравнивать их и узнавать будет, конечно, компьютер, который стоит теперь в каждом уважающем себя офисе.
 
   Как же научить такому делу обычный компьютер?
   Ну, ясное дело, вопрос и ответ должны произноситься собеседниками в свои микрофоны, а слышать их они смогут с помощью простейших громкоговорителей которые стоят рядышком с каждым компьютером (или наушников).
   Вся проблема в специальной программе, которая позволит компьютеру, "услышав" по-эфиопски слово "когда" понять, что это слово N1. Если это получилось, то совсем просто взять из памяти компьютера английское слово N1 и выдать его через громкоговоритель английской девушке.
   Ей не составит никакого труда понять вопрос и дать на него ответ на своём языке.
   Теперь опять работает компьютер: "услышав" ответ, он отыщет в словаре эти слова и по их номерам выдаст соответствующие слова эфиопу на его языке.
 
   Итак, изюмина кроется в программе, которая должна, получив слово-сигнал (картинку) от микрофона "узнать" в нём знакомое слово.
   Но уже выше поясняли, что предварительно наш эфиоп произносил эти слова, и их картинки запоминались в программе.
   Поэтому теперь компьютер должен только перебрать в своей памяти все картинки, сравнивая их с входящей.
   Мгновенно выполнив такую детскую игру, компьютер обнаружит, что новая картинка подобна уже имеющейся под N1 и скажет по-английски: "Веен" (Когда). Так и продолжится диалог.
 
   Чтобы упростить дело эфиоп, наговорив все слова компьютеру у себя на родине, получит магнитную карточку с их записью. Именно эту карточку он вставит в компьютер в лондонском справочном бюро (как вы вставляете карточку в каспомат, чтобы получить деньги).
   Таким образом, программа будет "слышать" знакомые слова, произносимые знакомым голосом, и ей легко будет их узнавать.
   Аналогично, свои карточки будут иметь и английская девушка из справочного и каждый человек, который захочет приобщиться к нашей системе перевода.
   Как сейчас вы вступаете в компанию "Виза" или "Мастеркарт", так же купите себе карточку "Диалог".
   Как видно, проблема свелась к тому, чтобы "узнавать самого себя".
 
   А вдруг мой читатель не боится науки и даже немного знаком с основами передачи сигналов. Для него могу кое-что пояснить.
   Известно, что любой сигнал состоит из гармоник (по-научному, сигнал можно разложить в ряд, или представить интегралом, Фурье). Речь человека содержит частоты от 20 до 16000 Герц.
   Следующая великая теорема - Шеннона - открывает удобный способ передачи сигнала в память компьютера. Для этого не нужно передавать весь сигнал, вполне достаточно выбрать из него только его отдельные значения через определенные промежутки времени. И сделать это нужно с частотой выборки вдвое выше, чем частота наивысшей гармоники сигнала. Для нашего случая, очевидно, нужно прочитывать сигнал с частотой выборки 32 000 Герц.
   Практически, опытами я быстро установил, что достаточно опрашивать сигнал значительно реже. Так уже при 8000 Герц не улавливаешь на слух разницы между воспроизведением полного сигнала и его "дискретной выборкой".
   Таким способом произносимые человеком слова превращаются в группы импульсов, то есть чисел. Ну, а числа - это любимая пища компьютера, с которой он готов проделать всё, что мы прикажем ему в программе. Кстати, сегодня во всех магазинах и рекламах только и слышно: "...дигитальное изображение, дигитальный звук". Речь идёт, как раз, о тех самых "оцифрованных" сигналах-импульсах, о которых мы говорили.
 
   Эта идея среди других была у меня в запасе, когда на организованной для олимов встрече с потенциальными инвесторами мной заинтересовался один бизнесмен. Он, видимо, усмотрел в этом невидном, но настойчивом "русском", возможность заработать, рискнув небольшими деньгами.
   Я требовал компьютер и 3 месяца оплаты себя и программиста для получения первого варианта разговорной программы.
   Этот человек посомневался только, что я за 2000 долларов в месяц найду программиста. Но я рассчитывал на Сашу Геллера. Мой бывший студент и желанный, но не пробившийся тогда через ректора, несмотря на самую активную мою поддержку, аспирант, - недавно приехал и поселился рядом. Он пока ещё не имеет работы и согласится войти в мою компанию.
 
   И завертелась работа. Теперь сам удивляюсь, с какой немыслимой быстротой удалось нам внедриться в новую область.
   Конечно, мы налетели на тысячу неожидаемых препятствий. Но с бодрой отвагой и изобретательностью раскалывая их, таки выдали пригодный для публичных испытаний продукт.
   Пожалуй, до этого лишь однажды я так работал. Тогда, в Киеве, нащупывая пути к точному приводу.
 
   Достаточно взглянуть на дневник, который я вёл для отчёта перед инвестором.
11.08.94 Покупка компьютера, установка программного обеспечения
  12.08.94 Установка программ записи звука
13.08.94 Исследование "рисунков" нескольких слов и выбор частоты опроса 8000 Гц
   14.08.94 Исследование гласных звуков
   15.08.94 Исследование "рисунков" 20 слов, формирование алгоритма упрощения
   формы рисунков-слов, выявляющего их основные отличия
   16.08.94 Исследование рисунков. Алгоритм обнаружения начала и конца слова
   17.08.94 Исследование согласных, особенности шипящих звуков
   18.08.94 Разработка признаков-критериев формы слов: сумма, плотность, длительность,
   число пиков и впадин, расстояния между ними
20-21/08 Улучшение критериев. Исследование фонем числительных. Исследование различий в русском, английском, французском и ивритском произношениях
   25.08 Сформировано 60 критериев
   30.08 Программа идентификации слов
   7.09 Проверка программы разговора из 10 слов
11.09 Работа программы разговора из 20 слов
 
   Саша стучал на клавишах, как пулемёт. Он приходил с работы усталый, но нет худа без добра: мы не тратили времени и сил на обычные в таких случаях споры. Он легко принимал мои задания.
   В начале творческого дела верна поговорка: две головы хорошо, а одна - лучше.
   На короткое время я выходил на горку и в пардесы, промывал уши и мозги тишиной, мысли шустро обегали последние результаты. Становилось ясно - этот путь плох, а надо делать так и так.
   Возвращался домой и писал Саше задание на новый сеанс. Компьютерное умение и руки были целиком его. Мы идеально дополняли друг друга.
 
   Через месяц такой работы мы начали разговаривать с компьютером, и он понимал произносимые слова. Не всегда. Требовалось не расслабляться, говорить отчётливо, но просто.
   Мы ввели в программу особый "коэффициент чёткости". Если его ослабить - программа легко принимала все слова, но иногда путала их. Можно было наоборот, усилить этот коэффициент, тогда ошибки исчезали, но всё чаще на обращение к компьютеру он отвечал: "Повторите, пожалуйста".
 
   Через два месяца уже работала программа на 208 слов. Кипы листов хранили записи моих бесчисленных указаний программисту, таблицы и графики их испытаний. Но бумага не очень помогала мне.
   Приходилось всё одновременно держать в голове. Её испытания пока что, слава Богу, тоже проходили удачно.
 
   Трудности появились там, где их и не ожидали.
   Например, начало и конец слова. Ну, чего проще? Но оказалось, что полной тишины не существует и компьютер хватается за любой шумок, совершенно искажая картинку слова. Да и человек начинает произношение не сразу, сначала 1-2 десятых секунды "мычит", а после окончания ещё доли секунды шумно дышит. Это тоже ломает определённость слова.
   Пришлось повозиться с программой. Нельзя же приставать к человеку - говори так и не говори этак. Он тогда волнуется и говорит ещё хуже.
   Между прочим, существуют люди с такой дикцией, что никогда никакая машина их понимать не будет. Да вы и сами знаете таких. Его слушаешь и не слышишь, а только догадываешься, что он сказал.
   Кстати, мой инвестор говорил по-французски. При этом он издавал такое хриплое и лишь слегка модулируемое по громкости звучание, что наш компьютер растерялся и не смог выделить из его речи ни единого слова.
 
   Вскоре выяснилось и другое неприятное свойство человеческой речи - изменчивость произношения слов.
   Понятно, что можно говорить громче или тише, быстрее или медленней. С этим справились легко, введя в программу специальные приёмы "нормализации", то есть подтягивания высоты картинки-слова под единый уровень, а затем и длительности "услышанного" компьютером слова под длительность хранимого в памяти эталона (образца) этого слова.
   Но оказалось, что существует ещё многочисленная группа "хлипких" слов, способных сильно изменяться внутри, хотя на слух это почти не ощутимо.
   И против этого я придумал замечательную штуку - "бетон", который "заливался" в слово, защищая его от такого ёрзания.
 
   Наконец, нам удалось ухватить эту ускользающую плазму звучаний, и программа на 208 слов и выражений заработала прилично. С таким объёмом словаря можно вести в справочном бюро уже довольно содержательный диалог.
   Инвестор познакомил меня со своей переводчицей и секретарём, которая взяла на себя роль английской справочной девушки. Мы немного порепетировали и с оптимизмом стали ждать приезда группы покупателей из Бельгии.
 
   Пришёл назначенный день. Я погрузил в свою Сузуки компьютер и все прочие вещи и поехал в столицу Негева - Беер-Шеву.
   Мне представили комиссию. Четверо совсем разных по росту, виду и цвету, но одинаково упитанных джентльменов. Они с интересом взирали на, видимо, разрекламированную покупку.
 
   Мы с секретаршей начали "Диалог в справочном бюро аэропорта". Всё шло гладко
   Я задавал по-русски вопросы в микрофон.
   Гости слышали мою вопросительную, но не понятную им речь.
   Девушка слышала эти вопросы, произносимые компьютером, по-английски.
   Гостям это уже было понятно.
   Затем моя партнёрша отвечала (в свой микрофон) на английском, а машина говорила мне эти фразы по-русски.
   Гостям эти звуки снова были непонятны, но по радостной реакции "клиента аэропорта" (то бишь Вашего покорного слуги) у них не оставалось сомнений в продуктивности диалога.
   Так мы беседовали минут пять.
 
   После окончания сеанса все оживились и стали задавать вопросы. Один из приезжих оказался специалистом именно по этому делу.
   - И это вы сделали с одним программистом всего за три месяца?
   - Да, вот дневник нашей работы.
   - Я знаком с работами нашего института в Бельгии, где трудятся десять нобелевских лауреатов. Их программа работает не лучше.
   А вы можете дополнить вашу программу ещё другими словами?
 
   Я не был готов к таким экспериментам, но решил, что попробовать можно. Недавно придуманный "бетон" укреплял мою надежду на удачу.
   - Какое слово вы хотите ввести?
   - Ну, пусть это будет слово - "Бельгия". Сколько раз вам требуется его повторить, чтобы компьютер запомнил?
   - Думаю, достаточно один раз.
   Я нажал несколько кнопок, поставив программу в режим запоминания, и произнёс в микрофон это слово. Затем включился в режим диалога и, изо всех сил удерживая себя в спокойном состоянии, произнёс в микрофон: "Бельгия".
   - Бельгия, - чётко произнёс компьютер.
   - Фантастика! - сказал специалист. - Нашим требовалось повторять слово 3-4 раза.
 
   Гости и инвестор повели между собой оживлённую беседу по-французски. Я ничего не понимал и попросил перевести. Оторвавшись от разговоров, самый солидный из приезжих сказал через переводчицу.
   - Ваша демонстрация была интересной, но особенно нам понравился сам профессор. Конечно, если бы он своевременно уехал на Запад, то теперь имел бы уже хорошие деньги и положение. Мне хотелось бы пояснить уважаемому профессору, что на Западе практикуется иной подход к техническим проектам. Сначала изучаются насущные потребности общества, затем оценивается возможная прибыль в избранном направлении, а уже после всего начинается техническая разработка и патентование. Значительно сложней приспособить к делу уже готовое изобретение.
 
   Наступило довольно долгое ожидание результатов нашего спектакля. Как я понимал, меня предполагалось использовать в качестве исполнителя одного из проектов, который предложат эти люди. Однако время шло, зарплату нам инвестор сначала снизил вдвое (вопреки подписанному вначале соглашению), а вскоре и совсем забыл об этом. Рассказывал, что приезжавшие люди оказались в сложном финансовом положении из-за военного переворота на Мадагаскаре, где у них были вложены большие деньги в строительство электростанций.
 
   Я сначала не сдавался, искал более простые пути применения нашей разговорной программы.
 
   Ездил в Иерусалим к хозяину фирмы, выпускавшей дискеты для обучения на иностранном языке. Убеждал его, что любая его дискета, получит обратную связь через мою программу, когда ученик сможет не просто прослушивать учителя, но и учитель "услышит", что и как говорит ученик и сможет его направлять. Ведь только так можно научить человека правильному произношению, да и в целом обучение пойдёт лучше.
   Он соглашался, ему это нравилось, но денег на доработку не давал.
 
   После ещё я обратился в министерство образования. Любезная тётя ответила: "Давайте вашу программу, и мы включим её в перечень обучающих средств, из которого школы закупают то, что им понравится". Но денег на доработку бедное ведомство не имело.
 
   Так и осталось ещё одно из моих "крупных" изобретений - без последствий. Раньше хоть публикация давала чувство, что родившееся ушло к людям. Здесь и это осложнилось.
 
   После я ещё делал довольно вялые попытки продвинуть мой "Диалог". Получил в одном случае пенсионерскую доплату на несколько месяцев. Но не более того.
   Вот уже и мобильный телефон предлагает услугу - "голосовой набор номера", реклама осторожно пошумливает о разговаривающих игрушках. Из Интернета можно бесплатно "скачать" огромную программу распознавания (авторы указывают её надёжность - 30%). А я мог бы такое сделать давно.
 
   Когда сказал своим внукам, что могу сделать собачку, которая отзовётся на ваш голос и пойдёт к вам, а чужих ребят не послушается, они оба закричали: "Деда, сделай мне такую!"
   Вот и это есть прекрасный проект для бизнеса, ведь сегодня в детских играх крутится 20 миллиардов долларов. Но где они, мои инвесторы...?
 
   И всё-таки надежда не умерла. Иногда я вновь обдумываю алгоритм и нахожу новые усиления. Вот вспомнил о спектральных методах и придумал, как их ввести в распознавание слов. Это увеличит возможное число слов и выражений раза в два. И даст чёткое узнавание индивидуального голоса и интонации.
 
   А недавно Кто-то шепнул мне ещё интересную штуку: критериальную нормализацию. Поясню. Прежде программа работала так.
   Услышав произносимое слово, она принималась за измерение его форм (длительности, числа пиков, веса и других критериев, общим числом до 200) и таким способом получала паспорт этого слова.
   Затем она быстренько обегала все хранящиеся в памяти паспорта слов-эталонов и выбирала самый похожий. Так происходило узнавание слова. (Наши мозги тоже действуют примерно так).
   Но, когда слов в памяти много, то может оказаться, что произнесённое слово похоже сразу на несколько эталонов. Что тогда делать? Взять самый близкий из них? Но при малых отличиях легко ошибиться и "переводчик" переврёт это слово.
   А что, если сделать так. Компьютер измерил длину услышанного слова и нашёл в памяти близкий эталон, который, скажем, чуть длиннее. Теперь подтянем на такое же "чуть" и остальные критерии слова. Ясно, если машина угадала, то и остальные критерии сблизятся с этим правильным эталоном. Если же выбран ошибочный эталон, то критерии разбегутся. (Ведь и мы действуем похоже: услышали слово нечётко - мысленно или даже вслух повторим его, как бы примеримся к тому, что сидит в нашей памяти, и тогда принимаем решение).
   И ещё одна штука - иммунная метка. Когда мы хотим понять чью-то речь, то не все услышанные слова подвергаем анализу. Большинство слов отклоняем с порога. В их звучании ещё до осознания смысла чувствуем нечто постороннее. Это свойство нашего механизма распознавания сродни иммунитету. Только в данном случае обороняются клетки мозга от перегрузки информацией - "спамом". Такую "иммунную метку" формируем для каждого эталона-слова, и прежде сравнения всех критериев "прощупываются" эти метки.
   Чувствую, что теперь программа справилась бы и с 500 словами, а может и больше. Так не только справочное бюро или детская игра, но и "болтун" с моим переводчиком скоро сможет подружиться.
 
   В наши дни у каждого человека в руках мобильный телефон. Это сильно упрощает техническую часть системы разговоров между разноязычными собеседниками. Не требуется микрофон, громкоговоритель, да и собственно компьютер. Всё это уже имеется в вашем аппаратике или на станции. Они лишь должны быть снабжены нашей программой, и объявить в рекламе о новой функции компании-пионера: "вы можете разговаривать на любые расстояния на своем языке с любым иноязычным собеседником".
 
   А, кстати, ещё одно применение - "инструмент поэта".
   Программа ищет рифмы. Не банальные: "накопила - купила", а самые ценные неявные, ассоциативные, ассонансные, гипердактилические. Вообще, можно задавать желаемую степень точности рифмы и номер слога, на котором хочется получить созвучие.
   Каждому иногда требуется что-то выразить стихами. Вот, пожалуйста, - помощник. Профессионал-поэт может проверить, не лежит ли рядом с рождённой им рифмой более совершенная. 10,000 слов - словарь Пушкина - со всеми их падежами, причастиями, числами, прилагательными и пр. умещаются на стандартном диске в 70 мегабайт.
   Ну, люди, вот оно в руках ваших состояние!