Собесов

alexeygrigorev/data-science-interviews: посчитать IDF по корпусу

PythonNLPСредняяMiddle

Условие

На вход — список уже токенизированных документов: docs = [[token, ...], ...]. Посчитайте idf для каждого уникального токена. Формула: idf(t) = log(N / df(t)), где N — число документов, df(t) — число документов, в которых встречается токен.

Хочешь увидеть разбор?

Зарегистрируйся бесплатно — откроется развёрнутое решение этой задачи и ещё 4 на выбор.

Зарегистрироваться и увидеть разбор
Уже есть аккаунт? Войти