Семен (sim0nsays) wrote,
Семен
sim0nsays

Детали неразумной эффективности

Ну что, сразу к хардкору! Статью Andrej Karpathy про RNN (http://karpathy.github.io/2015/05/21/rnn-effectiveness/) видели в своих фидах все, и читать ее надо обязательно - Karpathy пишет замечательно, и можно примерно понять, о чем речь, с нулем бэкграунда.
Больше всего впечатлил текст, который генерируется нейросетью на разных стадиях обучения, вот он отдельно - https://closedcircles.com/api/blobresource?file=1116 Видно, как буквы складываются в слова, слова в предложения,предложения в структуру, и от всего этого немного жутковато.
Мне, кстати, кажется, что он писал и lecture notes к отличнейшему Стенфордскому курсу про CNN (http://cs231n.stanford.edu/), больно уж стиль похожий.
Как всегда, в обзорном посте во все детали погрузиться тяжело, поэтому у меня некоторые вопросы остались и я, наконец, разобрался.
Докладываюсь по итогам!
http://public.closedcircles.com/posts/unreasonable-effectiveness-details
Tags: data
  • Post a new comment

    Error

    default userpic
  • 4 comments