Qirimtatar Embedding Crawlers
Набор краулеров для формирования корпуса крымскотатарских текстов и обучения языковых моделей.
Коротко о проекте
- Собирает тексты из открытых веб-источников и цифровых архивов
- Использует Tesseract для распознавания текста в PDF и изображениях
- Публикует выгруженные документы отдельно от исходного кода
- Обрабатывает архивы Qirim Junior и тексты Шамиля Алядина
