Делают нейроны электрический авто? Создатель первого нейронных сетей было рассказано об их эволюции и будущем

Джеффри Хинтон был одним из основателей концепции глубокого обучения, лауреат премии Тьюринга в 2019 и инженер из Google. На прошлой неделе в ходе конференции разработчиков ввода-вывода, проводные и взял у него интервью и рассказал о своем увлечении мозг и умение моделировать компьютер на основе нейронной структуры мозга. Долгое время эти идеи считались тупыми. Интересный и увлекательный разговор о сознании, о будущих планах Хинтон, и о том, можно ли научить компьютеры мечтать.

Насчет нейронных сетей?

Давайте начнем с тех времен, когда вы написали свой первый, очень влиятельной статье. Все говорили: «мысль умная, но на самом деле мы не сможем собирать компьютеры таким образом». Объясните, почему вы настаивали на ней и почему вы были так уверены, что он нашел что-то важное.

Мне казалось, что мозг не может работать любым другим способом. Он обязан работать, исследуя силу ссылки. И если вы хотите, чтобы заставить устройство делать что-то умное, у вас есть два варианта: вы либо запрограммирован он или она учится. И люди не были запрограммированы так, мы должны были учиться. Этот метод должен быть правильным.

Объясните что такое нейронные сети. Объясните оригинальная идея.

Вы принимаете относительно простых процессорных элементов, которые очень отдаленно напоминают нейроны. Они имеют входящих соединений, каждое соединение имеет вес и этот вес может варьироваться в процессе обучения. Что же заставляет нейрон принимает меры по связям умножаются на веса, суммирует их и затем решает, стоит ли отправлять данные. Если сумма достаточно велика, она делает вывод (выход). Если сумма отрицательная, то ничего не отправляет. Вот и все. Вам нужно только связать туча таких нейронов с весами и выяснить, как изменение этих весов, а потом они будут делать все, что угодно. Вопрос только в том, как вы будете менять вес.

Когда вы поняли, что это грубое представление того, как работает мозг?

Да, все как было задумано изначально. Был разработан, чтобы напомнить мозгу работать.

Так, в какой-то момент в вашей карьере вы начинаете понимать, как работает мозг. Может быть, тебе было двенадцать лет, может, двадцати пяти. Когда вы решили попробовать смоделировать на компьютерах в виде мозга?

Сразу да. В этом был весь смысл. Идея была в том, чтобы создать устройство обучения, которая учится, как мозг, согласно представлениям людей о том, как мозг учится на изменение прочности соединений. И это была не моя идея, та же идея была у Тьюринга. Хотя Тьюринг изобрел огромная часть стандартной основы информатики, он полагал, что мозг является неорганизованный блок со случайными весами и используется обучение с подкреплением для изменения соединений, поэтому мог что-нибудь узнать. И он считал, что лучший способ разведки.

И вы следовали Тьюринга идея, что лучший способ создать автомобиль, оформить его в соответствии с типом человеческого мозга. Так, мол, работает человеческий мозг, так давайте создадим такую машину.

Да, так и думал, не только Тьюринг. Многие думали так.

Когда это было непростое время? Когда случилось так, что другие люди, которые работали над этим и думал, что идея верная Тьюринга, начали отступать, а вы продолжали гнуть свою линию?

Она всегда была горстка людей, которые верили, несмотря ни на что, особенно в области психологии. Но среди ученых-компьютерщиков, я считаю, в 90-е, оказалось, что набор данных был довольно маленьким, а компьютеры были не так быстро. И с небольших наборов данных, других методов, в частности метода опорных векторов, работал немного лучше. Они не так сильно беспокоит шум. Так было грустно, потому что в 80-е годы мы разработали метод обратного распространения [обратного распространения с обратным распространением ошибки, это очень важно для нейронных сетей. Мы думали, что это решит все. И был озадачен, что он ничего не решил. Вопрос был действительно в масштабе, но тогда мы не знали, что.

Почему вы думаете, что это не сработает?

Мы думали, что он не работает, потому что мы были не совсем правильные алгоритмы, и не совсем правильный целевой функции. Я долго думал, что это потому, что мы пытались проводить тренировки под наблюдением, когда вы отмечаете данных и нам пришлось учить без присмотра, когда обучение происходит по без ярлыков. Оказалось, что вопрос был в основном в масштабе.

Это интересно. Оказывается, проблема была в том, что у вас недостаточно данных. Вы думали, что он имеет правильное количество данных, но не тегируется. Значит, вы просто неправильно понял проблему?

Я думал, что ошибкой было то, что мы обычно используем метки. Большая часть обучения происходит без применения каких-либо знаков, вы просто пытаетесь моделировать структуру данных. Я на самом деле до сих пор так думаю. Я думаю, что поскольку компьютеры становятся быстрее, если ваш компьютер достаточно мощный, то для любого набора данных заданного размера лучше проводить тренировки без присмотра. И как только вы закончите обучение без присмотра, вы сможете узнать с меньшим количеством наклеек.

Так, в 1990-е годы, и вы продолжите свои исследования, тебя в Академии, ты все еще выходит, но не решит больших проблем. Были ли у вас момент, когда вы сказали: «Знаешь что, хватит. Я постараюсь сделать что-то еще»? Или вы просто сказали себе, что вы будете продолжать заниматься глубоким изучением [то есть, концепция глубокого обучения, глубокого обучения нейронных сетей; подробнее здесь].

Да. Что-то вроде этого должно работать. Я имею в виду, связи в мозгу как-то узнать, мы просто должны выяснить, как. И, наверное, есть много разных способов укрепления связей в процессе обучения; мозг использует одну из них. Могут быть и другие пути. Но просто нужно что-то, что может укрепить эти связи в обучении. Я никогда не сомневался.

Вы никогда не сомневался. Когда стало похоже на то, что он работает?

Одно из самых больших разочарований 80-х годов было то, что если мы сделали сетях с большим количеством скрытых слоев, мы не смогли их обучить. Это не совсем верно, потому что вы можете тренировать относительно простые процессы, как письмо от руки. Но мы не знали, как тренироваться наиболее глубокие нейронные сети. И где-то в 2005 году я придумал новый способ тренировки глубоких сети, без присмотра. Вы вводите данные, сказать, пикселей, а также подготовлено несколько детекторов деталей, которые просто хорошо объясняет, почему пиксели были такими, какие мы есть. Затем вы кормите этих частей детекторов данных, и учить другой набор детекторов, так что мы можем объяснить, почему определенные части детекторов появляются определенные корреляции. Вы продолжаете тренироваться слой за слоем. Но самое интересное было то, что можно было математически разложить и доказать, что каждый раз, когда вы учите новый слой, вам не обязательно иметь идеальные модели данных, но вам придется иметь дело с различными, как хороша ваша модель. Этот диапазон становится лучше с каждый добавленный слой.

Что вы подразумеваете под предложением о том, как хороша ваша модель?

Как только вы получили модель, можно задать вопрос: «Как необычно эта модель находит данные?». Вы показываете ее данные и задайте вопрос: «как вы считаете, это все так, как было предложено, или это необычно?». И это может быть измерено. И я хотел получить модель, хорошая модель, которая смотрит на данные и говорит: «Да, да. Я знал, что это. Это не удивительно». Это всегда трудно рассчитать именно как необычная модель рассматривает данные. Но это возможно, чтобы вычислить диапазон. Можно сказать, что модель найдет эти данные менее необычного, чем эти. И это было возможно, чтобы показать, что при добавлении новых слоев к деталям детекторы сформированной модели, и с каждого добавленного слоя, когда он находит данные, диапазон понимания, как необычно он считает, что данных становится лучше.

Оказывается, примерно в 2005 году вы провели этот математический прорыв. Когда вы начинаете, чтобы получить правильные ответы? Какие данные вы работали? Первый перерыв вы получите из данных слова, верно?

Это было просто рукописные цифры. Очень просто. И началось примерно в то же время развитие GPU (графический процессор). И люди, которые были вовлечены в нейронных сетях начали использовать GPU в 2007 году. Я был очень хороший студент, который начали использовать GPU для поиска дорог на аэрофотоснимках. Он написал код, который был затем принят другими студентами с использованием GPU для распознавания фонем в речи. Они использовали эту идею предварительной подготовки. И когда обучение было закончено, просто вешать ярлык на вершине и использовали обратного распространения. Оказалось, что можно создать очень глубокую сеть, которая была предварительно обучены таким образом. И тогда вы можете применять обратного распространения, и это сработало. В распознавании речи, он работал отлично. Первоначально, однако, это было не намного лучше.

Это было лучше, коммерчески доступный для распознавания речи? Шел лучшую научную работу по распознаванию речи?

В сравнительно небольшой набор данных TIMIT, это было немного лучше, чем лучшие научные работы. IBM также сделано много работы.

Очень быстро люди поняли, что все это — так как он обходит стандартную модель, которая была разработана 30 лет — будет работать нормально, если немного развить. Мои выпускники получили в Microsoft, IBM и Google, Google и очень быстро создал рабочую распознавания речи. К 2012 году эта работа, что было сделано еще в 2009 году, вышла на Android. Андроид вдруг стал гораздо лучше распознает речь.

Расскажите мне о времени, когда вы сохранили эти идеи за 40 лет опубликовано на эту тему на протяжении 20 лет, вдруг в обход своих коллег. Каково это?

Ну, на тот момент, я держал эти мысли в 30 лет!

Правда, правда!

Это было чудесное ощущение, что все, наконец, превратился в настоящую проблему.

Вы помните, когда вы впервые получили указанием данных?

Нет.

Ладно. Итак, вы поняли, что он работает с распознаванием речи. Когда вы начали применять нейронные сети для других проблем?

Во-первых, мы стали применять их на всевозможные другие проблемы. Джордж Даль, с которыми мы изначально работали над распознаванием речи, был использован, чтобы предсказать, будет ли молекула при контакте с чем-либо и стать хорошим лекарством. И там был конкурс. Он просто использовал наши стандартные технологии, предназначенные для распознавания речи, чтобы предсказать действия препаратов и победил в этом конкурсе. Это был знак, что мы делаем что-то очень разносторонний. Потом был студент, который сказал: «Знаешь, Джефф, эта штука будет работать с распознаванием изображения, и Фей-Фей Ли создан соответствующий набор данных для этого. Есть публичный конкурс, Давайте сделаем что-нибудь».

Мы получили результаты, которые намного превосходили стандарт компьютерного зрения. Это было в 2012 году.

То есть, в этих трех областях, вы Excel: моделирование химических веществ, речь, голос. Где вы потерпели неудачу?

Вы понимаете, что неудачи носят временный характер?

Ну, то, что отличает региона, в котором работает самый быстрый, и местах, где требуется больше времени? Кажется, что визуальная обработка, распознавание речи и какие-то элементарные человеческие вещи, которые мы делаем с чувственного восприятия, считаются первый преодолевать барьеры, верно?

Да и нет, потому что есть другие вещи, которые мы делаем хорошо — та же моторика. Мы очень хороши в навыках управления. Наш мозг определенно подходит для этого. И начать только сейчас нейронной сети, чтобы конкурировать с лучшими в другие технологии для этого. Они в конце концов победят, но сейчас они только начинают завоевывать.

Я думаю, что мышление, абстрактное мышление — последнее, что мы узнаем. Я думаю, они будут одними из последних вещей, которые эти нейронные сети научились делать.

И так вы продолжаете утверждать, что нейронные сети в конечном итоге победит везде.

Ну, у нас есть нейронная сеть. Все что мы можем, чтобы они могли.

Верно, но человеческий мозг не самый действенный компьютер из когда-либо созданных.

Наверняка нет.

Наверняка, не мой человеческий мозг! Есть ли способ, чтобы имитировать машины, которые будут гораздо более эффективны, чем человеческий мозг?

С точки зрения философии у меня нет возражений против идеи, что это может быть совершенно любой другой способ сделать это. Возможно, если вы начинаете с логикой, пытаются автоматизировать логику, придумать причудливый доказательство теоремы будет спорить, а потом решают, что именно с помощью рассуждений вы приходите к визуальному восприятию, может быть, что этот подход победит. Но не сейчас. У меня нет философских возражений против такой победы. Мы просто знаем, что мозг способен.

Но есть вещи, которые наш мозг не в состоянии делать хорошо. Это значит, что нейронные сети не может делать их хорошо?

Вполне возможно, да.

И есть отдельная проблема, которая заключается в том, что мы не можем полностью понять, как нейронные сети работают, верно?

Да, мы действительно не понимаем, как они работают.

Мы понимаем, как нейронные сети работают с подходом «сверху вниз». Это основной элемент нейронной сети, который мы не понимаем. Объяснить это, и тогда позвольте мне задать вам следующий вопрос: если мы знаем, как все это работает, как это тогда работает?

Если вы посмотрите на современные компьютерные системы видения, большинство из них в основном направлены вперед; они не используют обратные связи. И есть еще кое-что в современные системы компьютерного зрения, которые являются очень чувствительными к состязательной ошибки. Вы можете слегка изменить пару пикселей, и какая была Панда изображения и до сих пор выглядит так, как панда, вдруг становится страуса в понимании нейронной сети. Очевидно, метод сдвига пикселей разработана таким образом, чтобы обмануть сеть, думая про страуса. Но дело в том, что для вас это все-таки панда.

Изначально мы считали, что он отлично работает. Но потом, когда столкнулся с тем, что они смотрят на панду и мы уверены, что этот страус, мы забеспокоились. И я думаю, что часть проблемы заключается в том, что они не пытаются реконструировать из высокоуровневого представления. Они пытаются учить в изоляции, когда исследование только слои детекторов частей и цель, чтобы изменить вес, чтобы стать лучше в поиске правильного ответа. Недавно в Торонто мы обнаружили, или Ник Фрост обнаружил, что если вы добавляете реконструкции, повышенную стойкость к состязательности ошибки. Я думаю, что человеческий глаз используется для подготовки реконструкции. И как мы узнаем, что делает реконструкцию, мы гораздо более устойчивы к враждебной атаки.

Вы думаете, что вниз связи в нейронной сети позволяет вам проверить на что-то rekonstruiruet. Вы проверьте и убедитесь, что это панда, а не страус.

Я думаю, что это важно, да.

Но ученые, которые изучают мозг не согласны?

Ученые мозгов не спорить с тем, что если у вас есть две области коры на пути восприятия, всегда будет обратная связь. Они спорить с тем, что он делает. Это может быть потребность во внимании, для обучения или для реконструкции. Или для всех трех.

И поэтому мы не знаем, что обратная связь. Вы строите свой новый нейронная сеть, основанная на предположении, что… нет, даже не так — вы строите обратную связь, потому что она нужна для восстановления вашего нейронных сетей, хотя они действительно не понимают, как работает мозг?

Да.

Разве это не хитрость? Я имею в виду, если ты пытаешься сделать что-то вроде мозга, но не уверен, что мозг делает это?

Не правда. Я не делаю вычислительной нейронауки. Я не пытаюсь создать модель мозга. Я смотрю на мозг и сказать: «это работает, и если мы хотим сделать что-то еще, что работает, мы должны смотреть и вдохновляться его». Мы вдохновлены нейронов, а не строить нейронные модели. Таким образом, вся модель, мы использовали нейроны вдохновляет тот факт, что нейроны имеют много связей и что они меняют вес.

Это интересно. Если бы я был ученый и работал на нейронных сетях и хотел обойти Джефф Хинтон, одним из вариантов могло бы быть строительство нисходящей связи и основываясь на других моделях науки о мозге. Основываясь на обучении, а не о реконструкции.

Если есть лучше модели, вы бы выиграли. Да.

Это очень интересно. Давайте остановимся на более общие темы. Таким образом, нейронные сети могут решать все возможные проблемы. Есть тайны человеческого мозга, которые не могут или не покроет нейронных сетей? Например, эмоции.

Нет.

Таким образом, любовь будет реконструировать нейронной сети? Сознание может быть восстановлен?

Точно. После того как вы выяснить, что сие означает. Мы нейронной сети, верно? Сознание-это особенно интересная тема для меня. Но… люди не знают, что означает это слово. Есть много разных определений. И я думаю, что это скорее научный термин. Так что если 100 лет назад ты спросил у людей: что такое жизнь? Они бы сказали: «Ну, живые существа имеют жизненную силу, и когда они умирают, жизненная сила покидает их. В этом и есть разница между живыми и мертвыми, либо у вас есть жизненная сила или нет». Теперь у нас есть жизненные силы, мы считаем, что это понятие было введено в науку. И как ты начинаешь разбираться в биохимии и молекулярной биологии, вам не понадобится жизненная сила, вы поймете, как это все реально работает. И то же самое, думаю, происходит в сознании. Я думаю, что сознание-это попытка объяснить психические явления с помощью определенных сущностей. И эта сущность, он не нужен. Как только вы можете объяснить ее, вы сможете объяснить, как мы делаем все то, что делает людей сознательными существами, объясняются различные смыслы сознания, без привлечения какой-либо конкретной сущности.

Получается, нет никаких эмоций, что невозможно создать? Нет мысли, что было бы невозможно создать? Нет ничего, что может человеческий ум, что теоретически невозможно воссоздать полностью функционирующие нейронные сети, как только мы действительно понимаем, как работает мозг?

Что-то как пел Джон Леннон в одной из своих песен.

Вы 100% уверены?

Нет, я bynovec, так что будьте уверены на 99,9%.

Ну а чего тогда эти 0.01%?

Ну, мы можем, например, быть частью большого моделирования.

Правда. Итак, что мы узнаем о мозге от нашей работы на компьютерах?

Ну, я думаю, от того, что мы узнали за последние 10 лет, Интересно, что если взять систему с миллиардами параметров и целевой функции — например, чтобы заполнить пробел в линейке слова — это работает лучше, чем надо. Это работает гораздо лучше, чем вы могли бы ожидать. Можно подумать, и многие люди в области традиционных исследований по теме ИИ бы не подумал, что вы можете взять систему с миллиардами вариантов, запустить ее на случайных значениях, для измерения градиента целевой функции, а затем исправить ее для того чтобы улучшить целевую функцию. Можно подумать, что плохой алгоритм неизбежно застрянет. Но нет, оказывается, это очень хороший алгоритм. И чем больше масштаб, тем лучше он работает. И это открытие было в основном эмпирическим. Там был какой-то теории за всем этим, конечно, но открытие было эмпирическим. И теперь, как мы выяснили, это кажется более вероятным, что мозг вычисляет градиент некоторой целевой функции, и обновления веса и силы синапсов реагировать на этого градиента. Нам просто нужно выяснить, что это целевая функция и как она ухудшается.

Но мы не понимаем это на примере мозга? Не понимаю, обновления весов?

Это была теория. Давным-давно люди думали, что это возможно. Но на фоне всегда были некоторые компьютерщики, которые сказали: «Да, но мысль, что это все случайность и обучение за счет градиентного спуска не работает с миллиардом вариантов, вам придется подключать много знаний». Теперь мы знаем, что это не так. Вы просто вводите случайными параметрами, а также узнать.

Давайте пойдем немного дальше. Как только мы узнаем все больше и больше, мы, вероятно, продолжать узнавать все больше и больше о том, как работает мозг, потому что мы будем проводить массовые испытания моделей на основе наших представлений о функции мозга. Как только мы лучше поймем ли момент, когда мы на самом деле перестроить свои мозги, чтобы стать гораздо более эффективным автомобили?

Если вы действительно понимаете, что происходит, мы можем улучшить некоторые вещи, как образование. И я думаю, мы будем улучшать. Было бы очень странно, чтобы понять, наконец, что происходит в вашем мозгу, как он учится, и приспособиться с тем, чтобы учиться лучше.

Как вы думаете, через пару лет, мы используем то, что мы знаем о мозге и работу глубинного обучения, чтобы изменить образование? Как бы вы менять классы?

Я не уверен, что через пару лет обучения много. Я думаю, что изменение образования займет больше времени. Но если говорить об этом, [цифровой] помощники становятся очень умный. И когда специалисты смогут понять разговоры они будут в состоянии говорить с детьми и воспитывать их.

И теоретически, если мы сможем лучше понять мозг, мы сможем программы помощники, поэтому они лучше поговорить со своими детьми, основанные на том, что они узнали.

Да, но я не думала. Я делаю другой. Но все это выглядит довольно похоже на правду.

Если мы сможем понять сны?

Да, я очень интересуюсь снами. Так интересно, что у меня есть по крайней мере четыре различных теорий сновидений.

Расскажите о них — первый, второй, третий, четвертый.

Давно были эти вещи называются сетями Хопфилда, и они изучали воспоминания, как локальных аттракторов. Хопфилда обнаружили, что если вы попытаетесь положить слишком много воспоминаний, они перепутались. Они берут двух местных аттрактора и объединяет их в единый аттрактор где-то на полпути между ними.

Потом пришел Фрэнсис Крик и Грэм Митчисон и сказал, что мы можем избавиться от этих ложных минимумов с rzucanie (то есть, забыв, что учили). Мы отключаем ввод, перевести нейронная сеть в случайном состоянии, дай ей успокоиться, сказав, что это плохо, сделать так, чтобы не попасть в это государство, и таким образом можно заставить сеть для того чтобы хранить больше воспоминаний.

Потом подошел Терри и Седновские и сказал: «Послушай, если мы не только нейроны, которые хранят воспоминания, но большим количеством других нейронов, если мы сможем найти алгоритм, который будет использовать все из этих нейронов, чтобы помочь восстановить память?». В конце концов, мы создали boltzmanngasse алгоритма машинного обучения. И bolzanovia алгоритма машинного обучения имел очень интересное свойство: я показываю данные, и он проходит через остальные блоки, пока вы не получите в очень счастливом состоянии, а затем он увеличивает силу всех связей, исходя из того, что два устройства работают одновременно.

Вы также должны быть фаза, на которой вы отключите ввод, дайте алгоритм «пошуршать» и перевести его в состояние, в котором он счастлив, значит, он фантазирует, и, как только он рождается фантазия, вы говорите: «взять все пары нейронов, которые активны, и уменьшают мощность одной».

Объясняю алгоритм как процедуру. Но в реальности, этот алгоритм является продуктом математике и на вопрос: «Как поменять цепь подключения к нейронной сети с ВСЕ эти скрытые фрагменты данных, казалось удивительно?». И там должны быть другие фазы, которых мы называем отрицательную фазу, когда сеть работает без ввода и забыл, в каком бы состоянии вы положили.

Мы мечтаем в течение нескольких часов каждую ночь. А если вдруг проснется, то можно сказать, что мечты лишь потому, что мечта хранится в кратковременной памяти. Мы знаем, что есть мечты многих часов, но утром, после пробуждения, можно вспомнить только последний сон, а другие не помнят, что очень хорошо, потому что можно ошибочно принять их за реальность. Так почему мы не помним свои сны? По данным Крика, в этом и есть смысл мечты: отучиться эти вещи. Вы хотели узнать обратное.

Терри Седновские и я обнаружил, что это действительно процедура обучения с максимальной вероятностью для машин Больцмана. Это первая теория о снах.

Я хочу перейти к другой теории. Но задам вопрос: вы готовились любой из ваших алгоритмов глубокого обучения-это мечта?

Некоторые из первых алгоритмов, которые могут научиться работать со скрытыми единиц, была машина Больцмана. Они были крайне неэффективны. Но позже я нашел способ работать с приближениями, которые доказали свою эффективность. И это действительно послужило толчком для возобновления работы в глубоком изучении. Это было то, что научил один слой функции детектор одновременно. И это была эффективная форма ограничительных машина Больцмана. И почему она делала такой вид обратной подготовки. Но вместо того, чтобы спать, она могла просто нафантазировать после каждого маркера с данными.

Итак, андроиды действительно electrohouse сон. Давайте перейдем к теории две, три и четыре.

Теория двух называлось алгоритм Wake сна [алгоритм «бодрствования-сна»]. Вам нужно тренировать генеративные модели. И у вас есть идея создать модель, которая может генерировать данные, которые слоями детекторов характеристики и активизирует высшие и низшие слои, и так далее, вплоть до активации пикселей создать образ, на самом деле. Но вы хотели бы научить ее другому. Вы хотите, чтобы распознать данные.

И поэтому вы должны сделать алгоритм с двумя фазами. В фазе пробуждения полученных данных, он пытается распознать их, и вместо того, чтобы изучить отношения, которые он использует для признания, он проверяет генеративной связи. Данные, активировать скрытые блоки. И тогда я пытаюсь учить эти скрытые блоки для восстановления данных. Он учится реконструировать в каждом слое. Но вопрос в том, как изучать прямая связь? Поэтому идея заключается в том, что если знать прямую связь, можно научиться делать обратную связь, потому что можно научиться реконструировать его.

Теперь же получается, что при использовании обратной связи, вы можете учиться и без пересадок добраться, потому что вы можете просто начать в верхней и генерировать немного данных. И как вы генерируете данные, вы знаете всех скрытых слоев и может исследовать прямые ссылки на восстановление этих государств. И вот что получается: если вы начинаете со случайными связями и попробовать поочередно использовать обе фазы, все получится. Это работало хорошо, придется попробовать разные варианты, но будет работать.

Ну, а как насчет других двух теорий? У нас есть только восемь минут, я думаю, не будет времени спрашивать обо всем.

Дай мне еще один час и я расскажу вам о двух других.

Давайте поговорим о том, что будет дальше. Куда вы направляетесь в ваше исследование? Какую проблему вы пытаетесь решить сейчас?

В конце концов, придется работать на чем-то более, чем работа. Я думаю, что я могу работать на что-то, что никогда не закончится, называемые «капсулы», теория о том, что визуальное восприятие с помощью реконструкции и как информация передается в правильном месте. Был двум основным мотивирующим фактором тот факт, что стандартные нейронные сети, информация, активность слоя просто автоматически вылетает, и вы не принимать решения о том, где, чтобы отправить его. Идея капсулы был принимать решения о том, куда отправить информацию.

Теперь, когда я начал работать на капсулы, очень умные люди из Google изобрел трансформеров, которые делают то же самое. Они решают, куда отправить информацию, и это большая победа.

В следующем году мы вернемся, чтобы поговорить о теориях сновидений, номер три и номер четыре.

В статье использованы иллюстрации Марии Меньшиковой.

admin
ales7474@mail.ru

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *