极简入门NLP：文本表示和特征提取（基于python）

极简入门NLP：文本表示和特征提取（基于python）。Feature Extraction from Text (USING PYTHON) 文本特征提取一般分为两部分（1）文本本身属性：元音字数数、辅音字母数、···（2）基于文本的特征提取：TF-IDF等。文本处理领域还有一种特征提取方法，叫做TF-IDF模型（term frequency–inverse document frequency，词频与逆向文件频率）。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式常被搜索应用，作为文件与用户查询之间相关程度的度量或评级。