Обработка больших данных
Отрывок из книги
На базе идей MapReduce и вдохновлённый публикациями Google, Дуг Каттинг и Майк Кафкарелла начали работу над проектом с открытым исходным кодом, который в итоге стал известен как Hadoop. Первоначально Hadoop был создан как часть проекта Nutch – поисковой системы, также разрабатываемой Дугом Каттингом, – однако вскоре Hadoop выделился в отдельный проект, полностью сосредоточенный на хранении и обработке больших данных. Одним из первых пользователей и активных участников разработки Hadoop стала компания Yahoo, которая в 2006 году внедрила его для своих задач, связанных с обработкой огромных объёмов веб-данных.
Одним из ключевых компонентов Hadoop стала распределённая файловая система HDFS (Hadoop Distributed File System). HDFS была разработана для того, чтобы решать проблемы хранения и управления данными в распределённых системах. Основная идея HDFS заключалась в том, чтобы хранить данные не на одном сервере, а распределять их по множеству серверов в кластере, что обеспечивало высокую надёжность и отказоустойчивость. В случае выхода из строя одного из серверов данные не терялись, так как они были дублированы на других узлах кластера. HDFS также обеспечивала эффективное распределение данных между узлами и позволяла параллельно обрабатывать их с помощью MapReduce.
У нас есть только неполная версия книги.
Книги из серии:
Без серии
[5.0 рейтинг книги]
[5.0 рейтинг книги]
[5.0 рейтинг книги]
[5.0 рейтинг книги]
[5.0 рейтинг книги]
[5.0 рейтинг книги]
Комментарии:
Популярные книги
Инженер Петра Великого
1. Инженер Петра Великого
Фантастика
:попаданцы
,альтернативная история
.
5.00
рейтинг книги
Обрыв
Проза
:классическая проза
,русская классическая проза
.
8.93
рейтинг книги
Эпоха Опустошителя. Том VIII
8. Вечное Ристалище
Фантастика
:аниме
,фэнтези
,попаданцы
.
5.00
рейтинг книги
Скрытые чувства
Любовные романы
:любовно-фантастические романы
.
7.17
рейтинг книги
Локки 6. Потомок бога
6. Локки
Фантастика
:аниме
,фэнтези
.
5.00
рейтинг книги
Отречение
6. Государи московские
Проза
:историческая проза
.
6.50
рейтинг книги
Запасная дочь
Фантастика
:фэнтези
.
6.40
рейтинг книги
Ботаник 2
2. Ботаник
Фантастика
:фэнтези
,боевая фантастика
.
5.80
рейтинг книги
Жена неверного ректора Полицейской академии
Любовные романы
:любовно-фантастические романы
.
4.25
рейтинг книги
Меняя маски
1. Унесенный ветром
Фантастика
:боевая фантастика
,попаданцы
.
9.22
рейтинг книги
Жена неверного генерала, или Попаданка на отборе
Любовные романы
:любовно-фантастические романы
.
5.00
рейтинг книги
Князь Серединного мира
4. Страж
Фантастика
:фэнтези
,попаданцы
.
5.25
рейтинг книги
Черная метка
7. Гибрид
Фантастика
:технофэнтези
,аниме
,фэнтези
,попаданцы
.
5.00
рейтинг книги
Главный рубильник. Расцвет и гибель информационных империй от радио до интернета
Деловая литература
:о бизнесе популярно
.
5.00
рейтинг книги
Мужество
Проза
:советская классическая проза
.
7.56
рейтинг книги
Камень. Книга 3
3. Камень
Фантастика
:фэнтези
,боевая фантастика
.
8.58
рейтинг книги
Бояръ-Аниме. Газлайтер. Том 35
35. История Телепата
Фантастика
:аниме
,боевая фантастика
,фэнтези
.
6.25