Hui Hui AI: как пользоваться нейросетью без цензуры

Что такое Huihui AI и как устроен этот проект

Huihui AI — это проект группы энтузиастов и разработчиков, специализирующийся на создании модифицированных версий популярных открытых языковых моделей (LLM). Главная особенность этих моделей заключается в удалении встроенных фильтров безопасности и цензуры (так называемый процесс abliteration).

Основой для сборок Huihui AI часто служат известные архитектуры (например, от разработчиков Qwen, Gemma и других), которые адаптируются для запуска на локальном оборудовании.

Основные особенности моделей

• Отсутствие стандартных ограничений: Модели поставляются без привычных для коммерческих сервисов защитных барьеров. Ответственность за запросы и получаемый текст полностью ложится на пользователя.
• Локальный запуск: Большинство вариантов распространяется через платформы вроде Hugging Face или Ollama, что позволяет запускать их прямо на своем компьютере без отправки данных на сторонние облачные сервера.
• Разнообразие архитектур: Проект выпускает версии различного размера и формата (включая Mixture of Experts — MoE), чтобы пользователи могли подобрать модель под мощности своей видеокарты или процессора.

Как начать пользоваться Huihui AI

Поскольку Huihui AI — это не единый сайт-чат вроде коммерческих веб-сервисов, а репозиторий свободных весов моделей, алгоритм работы с ними выглядит следующим образом:

1. Подготовка оборудования: Для запуска локальных нейросетей требуется ПК с подходящими характеристиками (желательно наличие современной дискретной видеокарты NVIDIA с достаточным объемом видеопамяти VRAM для работы с Ollama или аналогичным ПО).
2. Использование через локальные клиенты: Самый простой способ запустить модели — воспользоваться инструментом Ollama. В терминале или командной строке можно использовать команды для скачивания и запуска конкретных сборок (например, через команду ollama run huihui_ai/...).
3. Загрузка с платформы Hugging Face: Продвинутые пользователи скачивают файлы весов напрямую из официального репозитория разработчиков и интегрируют их в привычные интерфейсы для работы с локальным ИИ (например, LM Studio, Text Generation WebUI).

Важные нюансы

• Системные требования: Модели без цензуры требуют внимательного подхода к выбору параметров квантования. Ошибки в выборе разрядности могут незначительно влиять на точность вычислений.
• Отсутствие поддержки из коробки: Проект ориентирован на энтузиастов, разработчиков и пользователей, которые умеют самостоятельно настраивать программное обеспечение для запуска локальных языковых моделей.