Максим Лапань: Глубокое обучение с подкреплением. AlphaGo и другие технологии
DEEP REINFORCEMENT LEARNING HANDS-ON
Аннотация к книге "Глубокое обучение с подкреплением. AlphaGo и другие технологии"
Эта книга — подробное руководство по новейшим инструментам глубокого обучения с подкреплением и их ограничениям. Мы реализуем и проверим на практике методы кросс-энтропии и итерации по ценностям (Q-learning), а также градиенты по стратегиям.
Для экспериментов используются самые разные среды обучения с подкреплением (RL), начиная с классических CartPole и GridWorld и заканчивая эмуляторами Atari и средами непрерывного управления (на основе PyBullet и RoboSchool). Множество примеров основано на нестандартных средах, в которых мы с нуля разработаем модель окружения.
В этой книге
- Вы узнаете, какое место в контексте глубокого обучения занимают методы RL, реализуете сложные модели глубокого обучения.
- Изучите основу RL: марковские процессы принятия решений.
- Рассмотрите примеры реализации методов RL: метод кросс-энтропии, DQN, A3C, TRPO, PPO, DDPG, D4PG и других.
- Узнаете, как работать с дискретными и непрерывными пространствами действий в различных...
Эта книга — подробное руководство по новейшим инструментам глубокого обучения с подкреплением и их ограничениям. Мы реализуем и проверим на практике методы кросс-энтропии и итерации по ценностям (Q-learning), а также градиенты по стратегиям.
Для экспериментов используются самые разные среды обучения с подкреплением (RL), начиная с классических CartPole и GridWorld и заканчивая эмуляторами Atari и средами непрерывного управления (на основе PyBullet и RoboSchool). Множество примеров основано на нестандартных средах, в которых мы с нуля разработаем модель окружения.
В этой книге
- Вы узнаете, какое место в контексте глубокого обучения занимают методы RL, реализуете сложные модели глубокого обучения.
- Изучите основу RL: марковские процессы принятия решений.
- Рассмотрите примеры реализации методов RL: метод кросс-энтропии, DQN, A3C, TRPO, PPO, DDPG, D4PG и других.
- Узнаете, как работать с дискретными и непрерывными пространствами действий в различных средах.
- Увидите, как разработать систему, обучающуюся играм Atari, используя обучение с подкреплением.
- Создадите собственную среду по модели OpenAI Gym для обучения биржевого агента.
- Реализуете метод AlphaGo Zero для игры в Connect4.
- Познакомитесь с применением RL в обработке речи: узнаете, как обучить диалогового бота на фразах из кинофильмов.
Иллюстрации к книге Максим Лапань - Глубокое обучение с подкреплением. AlphaGo и другие технологии
Рецензии на книгу «Глубокое обучение с подкреплением. AlphaGo и другие технологии»
Книга "Глубокое обучение с подкреплением. AlphaGo и другие технологии" из серии "Для профессионалов" позволяет окинуть взглядом современную область машинного обучения, связанную с технологией глубокого обучения без учителя. Вместе с автором Вы изучите ландшафт этой области человеческого знания, останавливаясь на наиболее рельефно-выделяющихся его участках на пути от тренировки нейронной сети для балансировщика к "вершине", заданной в книге как технология...
В книге есть ряд недочётов, некоторые из которых являются весьма существенными. Относятся они по-большей части к халатной работе издательства, чем к труду автора.
1. К сожалению книга не прошла сколь-нибудь существенной процедуры рецензирования. Иначе как объяснить следующие явления?
- "Висящие" в тексте формулы, без объяснения величин, в них входящих (например, что за выражение на с. 47? Из предыдущего текста его не понять). В учебной и научной литературе принято объяснять любые обозначения в формулах, либо отсылать к разделу, где это объяснено. Такие места выглядят очень печально и вызывают недоумение у читателя;
- Опечатки в формулах (например, на странице 41 вместо степени поставлен подстрочный индекс);
- Есть опечатки в тексте к объяснению кода (например, на с. 338 вместо log(softmax должно быть log_softmax);
2. Книга является переводной и качество перевода не на высоте. Например, в 9 главе рассказывается о методе "градиента по стратегиям", которые в 13 главе называется методом "градиента по политикам". Некоторые места в тексте приходилось переводить на английский, для понимания того, что должно быть написано и что хотел сказать автор.
3. Качество печатного варианта книги крайне низкое. Давно не видела настолько плохой работы типографии. Во-первых, текст напечатан неравномерно по яркости, в большей части выглядит как работа принтера в режиме "черновик".
Во-вторых, есть множество страниц на которых текст "размыт"! Т.е. рядом с тусклым текстом напечатан ещё один со смещением в ~1 мм. Читать такое неудобно и неприятно.
В-третьих, в моей версии книги корешок был "пробит" и заламинирован поверх дефекта. Его будто порвали в типографии, а потом решили, что и так сойдёт, заламинировали и отправили дальше.
От книги, которая стоит больше 1000 рублей, такого низкого качества исполнения никак не могла ожидать при заказе.
Благо с "твёрдым" вариантом предоставляю электронную версию книги.
4. Неплохо было бы в книге упомянуть, что все приведённые примеры можно запускать в Google Colab, и, может быть, дополнить репозиторий с примерами файлами в формате Jupyter Notebook. Это будет полезно для тех, кто не имеет под рукой производительной видеокарты, но проводить эксперименты неймётся.
Автору выражаю благодарность за проделанную работу по выпуску данной книги и знакомство через неё с этой областью машинного обучения!
Познакомился с кодом к главе 8. Заметное число критических ошибок. Код с листа не проходит, нужны исправления. Подключение некоторых, необходимых для выполнения кода пакетов опущено. Приходится восстанавливать по факту ошибок и с поиском в сети. Запуск кода из командной строки приведен только для одного скрипта. Все остальные аргументы параметры запуска пришлось вычислять анализом кода. Удивило, что критерием остановки цикла принят np.inf и в коде train_model.py и в коде train_model_conv.py....
Замечательная книга, автор провел большую работу по систематизации научных статей и реализации кода.
Если вы обнаружили ошибку в описании
-
Позвонить -
СообщенияУ вас пока нет сообщений! -
Mой Лабиринт50 р. Дарим 50р. за регистрацию. Правила30 р. Баллы за ваши отзывы на книги5% Постоянная скидка уже на 2-й заказ -
0
ОтложеноЗдесь будут храниться ваши отложенные товары.Вы сможете собирать коллекции книг, а мы предупредим, когда отсутствующие товары снова появятся в наличии! -
0
КорзинаВаша корзина невероятно пуста.Лабиринт.Сейчас
Не знаете, что почитать?Здесь наша редакция собирает для вас лучшие книги и важные события.Главные книгиА тут читатели выбирают все самое любимое.
Не знаете, что почитать?
- Доставка и оплата
- Сертификаты
- Рейтинги
- Новинки
- Скидки
-
+7 499 920-95-25
Круглосуточная поддержкаВсе адреса и телефоны Лабиринта
//= cDetectMobile::isMobile() ? "tel:{$geotargeting['showphone']}" : '/contact/'; ?>//= $geotargeting['showphone']; ?>
-
Круглосуточная поддержкаВсе адреса и телефоны Лабиринта
//= cDetectMobile::isMobile() ? "tel:{$geotargeting['showphone']}" : '/contact/'; ?>//= $geotargeting['showphone']; ?>
-
Круглосуточная поддержкаВсе адреса и телефоны Лабиринта
- Контакты
- Поддержка
- Главное 2024
- Все книги
- Билингвы
- Книги для детей
- Комиксы, Манга, Артбуки
- Молодежная литература
-
Нехудожественная литература
- Назад в «Книги»
- Все книги в жанре «Нехудожественная литература»
- Все книги жанра
- Бизнес. Экономика
- Государство и право. Юриспруденция
- Домашние ремесла. Рукоделие
- Домоводство
- Естественные науки
- Информационные технологии
- История. Исторические науки
- Книги для родителей
- Коллекционирование
- Красота. Этикет
- Кулинария
- Культура. Искусство
- Медицина и здоровье
- Охота. Рыбалка. Собирательство
- Психология
- Публицистика
- Развлечения. Праздники
- Растениеводство
- Ремонт. Строительство. Интерьер
- Секс. Камасутра
- Технические науки
- Туризм. Путеводители. Транспорт
- Универсальные энциклопедии
- Уход за животными
- Филологические науки
- Философские науки. Социология
- Фитнес. Спорт. Самооборона
- Эзотерика. Парапсихология
- Периодические издания
- Религия
-
Учебная, методическая литература и словари
- Назад в «Книги»
- Все книги в жанре «Учебная, методическая литература и словари»
- Все книги жанра
- Вспомогательные материалы для студентов
- Демонстрационные материалы
- Дополнительное образование для детей
- Дошкольное обучение
- Иностранные языки: грамматика и учебники
- Книги для школы
- Педагогика
- Подготовка в вуз
- Пособия для детей с ограниченными возможностями
- Словари и разговорники
- Художественная литература
- Скидки · Обзоры · Рецензии · Подборки читателей · Новинки · Рейтинг · Авторы · Изд-ва · Серии
- Все книги на иностранном языке
- Книги на английском языке
- Книги на других языках
- Книги на испанском языке
- Книги на итальянском языке
- Книги на китайском языке
-
Книги на немецком языке
- Назад в «Иностранные»
- Все книги в жанре «Книги на немецком языке»
- Все книги жанра
- Адаптированная литература на немецком языке
- Классическая литература на немецком языке
- Курсы изучения языка
- Литература на немецком языке для детей
- Нехудожественная литература на немецком языке
- Современная литература на немецком языке
-
Книги на французском языке
- Назад в «Иностранные»
- Все книги в жанре «Книги на французском языке»
- Все книги жанра
- Адаптированная литература на французском языке
- Графические романы на французском языке
- Классическая литература на французском языке
- Курсы изучения языка
- Литература на французском языке для детей
- Нехудожественная литература на французском языке
- Современная литература на французском языке
- Комиксы и манга на иностранных языках
- Все игрушки
-
Детское творчество
- Назад в «Игрушки»
- Все товары в разделе «Детское творчество»
- Все товары раздела
- Алмазные мозаики
- Витражная роспись
- Гравюры
- Другие виды творчества
- Конструирование из бумаги и другого материала
- Лепка
- Наборы для рукоделия
- Наклейки детские
- Панч-дыроколы фигурные
- Работаем с воском, гелем, мылом
- Работаем с гипсом
- Работаем с деревом
- Скрапбук
- Сопутствующие товары для детского творчества
- Творческие наборы для раскрашивания
- Фрески
-
Игры и Игрушки
- Назад в «Игрушки»
- Все товары в разделе «Игры и Игрушки»
- Все товары раздела
- Все для праздника
- Головоломки
- Детские сувениры
- Детские часы
- Другие виды игрушек
- Игрушка-антистресс
- Игрушки для самых маленьких
- Игры для активного отдыха
- Игры с мишенью
- Книжки-игрушки
- Конструкторы
- Куклы и аксессуары для кукол
- Кукольный театр
- Магнитные буквы, цифры, игры
- Машинки и Транспорт
- Музыкальные инструменты
- Мягкие игрушки
- Наборы для тематических игр
- Настольные игры
- Научные игры для детей
- Пазлы
- Роботы и трансформеры
- Ростомеры
- Сборные модели
- Слаймы
- Фигурки
- Электронные игры
- Скидки · Отзывы · Новинки · Рейтинг · Производители · Серии
- Все канцтовары
-
Аксессуары для книг
- Назад в «Канцтовары»
- Все товары в разделе «Аксессуары для книг»
- Все товары раздела
- Закладки для книг
- Обложки для книг
- Глобусы
-
Обложки для документов
- Назад в «Канцтовары»
- Все товары в разделе «Обложки для документов»
- Все товары раздела
- Другие обложки
- Конверты для путешествий
- Обложки для автодокументов
- Обложки для военных билетов
- Обложки для зачетных книжек
- Обложки для паспортов
- Обложки для проездных билетов
- Обложки для студенческих билетов
- Чехлы для карт, обложки для пропусков
- Офисная канцелярия
- Папки, скоросшиватели, разделители
-
Письменные принадлежности
- Назад в «Канцтовары»
- Все товары в разделе «Письменные принадлежности»
- Все товары раздела
- Карандаши черногрифельные
- Ручки
- Принадлежности для черчения
-
Рисование
- Назад в «Канцтовары»
- Все товары в разделе «Рисование»
- Все товары раздела
- Аксессуары для рисования
- Инструменты и материалы для каллиграфии
- Карандаши цветные
- Кисти
- Краски
- Линеры для творчества
- Мелки
- Наборы для рисования
- Палитры, стаканы-непроливайки
- Папки для чертежей и рисунков
- Пастель
- Тушь, перья
- Уголь художественный
- Фломастеры
- Холсты. Мольберты
- Сумки
-
Товары для школы
- Назад в «Канцтовары»
- Все товары в разделе «Товары для школы»
- Все товары раздела
- Веера, счетный материал, счетные палочки
- Другие виды школьной канцелярии
- Канцелярские наборы
- Косметички, кошельки
- Ластики
- Мешки для обуви
- Ножницы школьные
- Обложки для тетрадей и книг
- Папки для школьных тетрадей. Папки для труда
- Пеналы
- Пластилин
- Подставки для книг
- Рюкзаки, портфели
- Точилки
- Фартуки. Клеенки для уроков труда
- Школьная бумажно-беловая продукция
- Школьные наборы, подставки, органайзеры
- Для школы · Скидки · Отзывы · Новинки · Производители · Серии
- Все CD/DVD
-
Аудио
- Назад в «CD/DVD»
- Все товары в разделе «Аудио»
- Все товары раздела
- Аудиокниги
- Музыка
- Религия
- Видео
- Софт
- Скидки · Отзывы · Новинки · Рейтинг · Производители · Серии
- Все сувениры
- Календари
-
Сувенирная продукция
- Назад в «Сувениры»
- Все товары в разделе «Сувенирная продукция»
- Все товары раздела
- Альбомы, рамки для фотографий
- Воздушные шары
- Детские сувениры
- Значки и медали
- Игрушки для животных
- Конверты для денег
- Магниты
- Новогодние сувениры
- Открытки
- Пакеты подарочные
- Подарочная упаковка
- Подарочные сертификаты
- Постеры и наклейки
- Праздничные аксессуары
- Таблички и статусы для рабочего стола
- Шкатулки
- Другое
- Скидки · Отзывы · Новинки · Рейтинг · Производители · Серии
- Весь клуб
- Журнал
-
Скидки и подарки
- Назад в «Клуб»
- Акции
- Бонус за рецензию
-
Только у нас
- Назад в «Клуб»
- Главные книги
- Подарочные сертификаты
- Эксклюзивы
- Предзаказы
-
Развлечения
- Назад в «Клуб»
- Литтесты
- Конкурсы
- Дома с детьми
-
Лабиринт — всем
- Назад в «Клуб»
- Партнерство
-
Приложения Лабиринта
- Назад в «Клуб»
- Apple App Store
- Google Play
- Huawei AppGallery
Мы используем файлы cookie и другие средства сохранения предпочтений и анализа действий посетителей сайта. Подробнее в пользовательском соглашении. Нажмите «Принять», если даете согласие на это.