BLOOM
| BLOOM | |
|---|---|
| Тип | языковая модель и большая языковая модель |
| Первый выпуск | 2021 |
| Лицензия | Responsible AI License[вд] |
| Сайт |
bigscience.huggingface.co (англ.) huggingface.co/bi… |
BigScience Large Open-science Multilingual Language Model с открытым доступом ( BLOOM [1] ) — большая языковая модель на основе трансформера. Была создана более чем 1000 исследователями ИИ, чтобы предоставить бесплатную большую языковую модель для всех желающих. Обученна примерно по 176 миллиардам весов с марта по июль 2022 года, считается альтернативой OpenAI GPT-3. BLOOM использует архитектуру модели трансформатора только для декодера, модифицированную от Megatron-LM GPT-2 .
Проект BLOOM [2] был запущен соучредителем Hugging Face. Было задействовано шесть основных групп людей, в том числе команда BigScience HuggingFace, команда Microsoft DeepSpeed, команда NVIDIA Megatron-LM, команда IDRIS/GENCI, команда PyTorch и волонтеры из рабочей группы BigScience Engineering.
BLOOM обучалась на данных 46 естественных языков и 13 языков программирования. В общей сложности 1,6 терабайт предварительно обработанного текста было преобразовано в 350 миллиардов уникальных токенов в качестве обучающих наборов данных BLOOM.
Примечания[править | править код]
- ↑ BigScience Large Open-science Open-access Multilingual Language Model. Дата обращения: 1 октября 2022. Архивировано 12 апреля 2023 года.
- ↑ The Technology Behind BLOOM Training. Дата обращения: 1 октября 2022. Архивировано 4 апреля 2023 года.