РуЛиб - онлайн библиотека > Ф. Хуттер > Учебники и самоучители по компьютеру > Введение в автоматизированное машинное обучение (AutoML)
Читаем онлайн «Введение в автоматизированное машинное обучение (AutoML)»
- 123 . . . последняя (116) »
Франк Хуттер
Ларс Коттхофф
Хоакин Ваншорен
Введение
в автоматизированное
машинное обучение
(AutoML)
Frank Hutter • Lars Kotthoff • Joaquin Vanschoren
Automated
Machine Learning
Франк Хуттер • Ларс Коттхофф • Хоакин Ваншорен
Введение
в автоматизированное
машинное обучение
(AutoML)
Москва, 2023
УДК 004.4
ББК 32.972
Х98
Х98
Хуттер Ф., Коттхофф Л., Ваншорен Х.
Введение в автоматизированное машинное обучение (AutoML) / пер. с англ.
В. С. Яценкова. – М.: ДМК Пресс, 2023. – 256 с.: ил.
ISBN 978-5-93700-196-2
Ошеломляющий успех коммерческих приложений машинного обучения
(machine learning – ML) и быстрый рост этой отрасли создали высокий спрос на
готовые методы ML, которые можно легко использовать без специальных знаний.
Однако и сегодня успех практического применения в решающей степени зависит
от экспертов – людей, которые вручную выбирают подходящие архитектуры и их
гиперпараметры. Методы AutoML нацелены на устранение этого узкого места
путем построения систем ML, способных к автоматической оптимизации и самонастройке независимо от типа входных данных. В этой книге впервые представлен всеобъемлющий обзор базовых методов автоматизированного машинного
обучения (AutoML).
Издание послужит отправной точкой для изучения этой быстро развивающейся
области; тем, кто уже использует AutoML в своей работе, книга пригодится в качестве справочника.
УДК 004.4
ББК 32.972
This book is licensed under the terms of the Creative Commons Attribution 4.0 International
License (http://creativecommons.org/licenses/by/4.0/), which permits any noncommercial use,
sharing, adaptation, distribution and reproduction in any medium or format, as long as you
give appropriate credit to the original author(s) and the source, provide a link to the Creative
Commons licence and indicate if changes were made.
Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения
владельцев авторских прав.
ISBN 978-1-80181-497-3 (англ.)
ISBN 978-5-93700-196-2 (рус.)
© Hutter F., Kotthoff L., Vanschoren J., 2019.
This book is an open access publication
© Перевод, оформление, издание,
ДМК Пресс, 2023
Содержание
От издательства. ...................................................................................................10
Предисловие...........................................................................................................11
Введение. .................................................................................................................13
ЧАСТЬ I. МЕТОДЫ AutoML...........................................................................17
Глава 1. Оптимизация гиперпараметров. ................................................18
1.1. Введение................................................................................................................18
1.2. Постановка задачи...............................................................................................20
1.2.1. Альтернативы оптимизации: ансамблирование
и маргинализация..................................................................................................21
1.2.2. Оптимизация по нескольким целям.........................................................22
1.3. Оптимизация гиперпараметров методом черного ящика............................22
1.3.1. Оптимизация методом черного ящика без моделей..............................22
1.3.2. Байесовская оптимизация. .........................................................................24
1.3.2.1. Краткое введение в байесовскую оптимизацию..............................25
1.3.2.2. Суррогатные модели.............................................................................26
1.3.2.3. Описание пространства конфигурации. ...........................................28
1.3.2.4. Ограниченная байесовская оптимизация.........................................29
1.4. Методы оптимизации с переменной точностью............................................30
1.4.1. Прогнозирование на основе кривой обучения для ранней
остановки.................................................................................................................31
1.4.2. Методы выбора алгоритма на основе приближений..............................32
1.4.3. Адаптивный выбор точности. ....................................................................35
1.5. Применение оптимизации гиперпараметров в AutoML...............................36
1.6. Проблемы и перспективные направления исследований.............................38
1.6.1. Бенчмарки и сопоставимость результатов...............................................38
1.6.2. Оптимизация на основе градиента...........................................................40
1.6.3. Масштабируемость.......................................................................................40
1.6.4. Переобучение и обобщение........................................................................41
1.6.5. Построение конвейера произвольного размера......................................42
1.7. Литература. ...........................................................................................................43
6 Содержание
Глава 2. Метаобучение. .....................................................................................54
2.1. Введение................................................................................................................54
2.2. Обучение на основе оценок моделей. ..............................................................55
2.2.1. Независимые от задачи рекомендации....................................................56
2.2.2. Построение пространства конфигураций. ...............................................57
2.2.3. Перенос конфигурации. ..............................................................................58
2.2.3.1. Относительные ориентиры.................................................................58
2.2.3.2. Суррогатные модели.............................................................................58
2.2.3.3. Многозадачное обучение с теплым стартом. ...................................59
2.2.3.4. Другие методы.......................................................................................60
2.2.4. Кривые
Ларс Коттхофф
Хоакин Ваншорен
Введение
в автоматизированное
машинное обучение
(AutoML)
Frank Hutter • Lars Kotthoff • Joaquin Vanschoren
Automated
Machine Learning
Франк Хуттер • Ларс Коттхофф • Хоакин Ваншорен
Введение
в автоматизированное
машинное обучение
(AutoML)
Москва, 2023
УДК 004.4
ББК 32.972
Х98
Х98
Хуттер Ф., Коттхофф Л., Ваншорен Х.
Введение в автоматизированное машинное обучение (AutoML) / пер. с англ.
В. С. Яценкова. – М.: ДМК Пресс, 2023. – 256 с.: ил.
ISBN 978-5-93700-196-2
Ошеломляющий успех коммерческих приложений машинного обучения
(machine learning – ML) и быстрый рост этой отрасли создали высокий спрос на
готовые методы ML, которые можно легко использовать без специальных знаний.
Однако и сегодня успех практического применения в решающей степени зависит
от экспертов – людей, которые вручную выбирают подходящие архитектуры и их
гиперпараметры. Методы AutoML нацелены на устранение этого узкого места
путем построения систем ML, способных к автоматической оптимизации и самонастройке независимо от типа входных данных. В этой книге впервые представлен всеобъемлющий обзор базовых методов автоматизированного машинного
обучения (AutoML).
Издание послужит отправной точкой для изучения этой быстро развивающейся
области; тем, кто уже использует AutoML в своей работе, книга пригодится в качестве справочника.
УДК 004.4
ББК 32.972
This book is licensed under the terms of the Creative Commons Attribution 4.0 International
License (http://creativecommons.org/licenses/by/4.0/), which permits any noncommercial use,
sharing, adaptation, distribution and reproduction in any medium or format, as long as you
give appropriate credit to the original author(s) and the source, provide a link to the Creative
Commons licence and indicate if changes were made.
Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения
владельцев авторских прав.
ISBN 978-1-80181-497-3 (англ.)
ISBN 978-5-93700-196-2 (рус.)
© Hutter F., Kotthoff L., Vanschoren J., 2019.
This book is an open access publication
© Перевод, оформление, издание,
ДМК Пресс, 2023
Содержание
От издательства. ...................................................................................................10
Предисловие...........................................................................................................11
Введение. .................................................................................................................13
ЧАСТЬ I. МЕТОДЫ AutoML...........................................................................17
Глава 1. Оптимизация гиперпараметров. ................................................18
1.1. Введение................................................................................................................18
1.2. Постановка задачи...............................................................................................20
1.2.1. Альтернативы оптимизации: ансамблирование
и маргинализация..................................................................................................21
1.2.2. Оптимизация по нескольким целям.........................................................22
1.3. Оптимизация гиперпараметров методом черного ящика............................22
1.3.1. Оптимизация методом черного ящика без моделей..............................22
1.3.2. Байесовская оптимизация. .........................................................................24
1.3.2.1. Краткое введение в байесовскую оптимизацию..............................25
1.3.2.2. Суррогатные модели.............................................................................26
1.3.2.3. Описание пространства конфигурации. ...........................................28
1.3.2.4. Ограниченная байесовская оптимизация.........................................29
1.4. Методы оптимизации с переменной точностью............................................30
1.4.1. Прогнозирование на основе кривой обучения для ранней
остановки.................................................................................................................31
1.4.2. Методы выбора алгоритма на основе приближений..............................32
1.4.3. Адаптивный выбор точности. ....................................................................35
1.5. Применение оптимизации гиперпараметров в AutoML...............................36
1.6. Проблемы и перспективные направления исследований.............................38
1.6.1. Бенчмарки и сопоставимость результатов...............................................38
1.6.2. Оптимизация на основе градиента...........................................................40
1.6.3. Масштабируемость.......................................................................................40
1.6.4. Переобучение и обобщение........................................................................41
1.6.5. Построение конвейера произвольного размера......................................42
1.7. Литература. ...........................................................................................................43
6 Содержание
Глава 2. Метаобучение. .....................................................................................54
2.1. Введение................................................................................................................54
2.2. Обучение на основе оценок моделей. ..............................................................55
2.2.1. Независимые от задачи рекомендации....................................................56
2.2.2. Построение пространства конфигураций. ...............................................57
2.2.3. Перенос конфигурации. ..............................................................................58
2.2.3.1. Относительные ориентиры.................................................................58
2.2.3.2. Суррогатные модели.............................................................................58
2.2.3.3. Многозадачное обучение с теплым стартом. ...................................59
2.2.3.4. Другие методы.......................................................................................60
2.2.4. Кривые
- 123 . . . последняя (116) »