全文内容推荐里中文分词怎么用其实挺关键的，得先搞清楚它是啥原理和作用

直接引用并整合自知乎专栏“算法美食屋”的文章《文本分析里中文分词怎么用？其实挺关键的，得先搞清楚它是啥原理和作用》） 推荐里中文分词怎么用其实挺关键的，得先搞清楚它是啥原理和作用”，这句话点出了处理中文文本时一个最基础也最容易被忽视的环节，咱们说话、写文章，字和字是连在一起的，没有像英文那样的空格来天然地把单词分开，南京市长江大桥”这句话，人和人一看就明白指的是“南京市的”那座叫“长江大桥”的桥，但机器看到的就是一串连续的汉字“南”“京”“市”“长”“江”“大”“桥”，如果机器理解错了，可能会分成“南京”“市长”“江大桥”，这就闹笑话了,意思完全不对了。

中文分词要干的活儿，就是教会计算机像人一样，把连续的中文字符序列，切分成一个个有独立意义的最小单位，也就是词语，这个过程，就是分词的“原理”，它的核心目标就是“准确切分”。（引用自知乎专栏“算法美食屋”：《文本分析里中文分词怎么用？其实挺关键的，得先搞清楚它是啥原理和作用》）

那分词到底有啥“作用”呢？作用可大了，可以说是后续所有文本分析任务的基石，你可以把它想象成盖房子前处理砖块的过程，不先把黏在一起的砖块分开，你就没法用它们来砌墙，同样，不先把句子切成有意义的词语,后续的很多高级分析就无从谈起。

分词的作用主要体现在这么几个方面，它是文本“向量化”的前提，计算机不认识文字，只认识数字，我们要把文本变成计算机能处理的样子，通常需要先把句子切成词，然后给每个词分配一个数字ID，或者计算词频，再转换成向量，如果词都没切对，比如把“结婚”和“的”切成了“结”“婚的”，那生成的向量本身就是错的，基于这个错误向量做的任何分析，结果肯定不靠谱。（引用自知乎专栏“算法美食屋”：《文本分析里中文分词怎么用？其实挺关键的，得先搞清楚它是啥原理和作用》）

分词直接影响“关键词提取”和“情感分析”的准确性，有一句用户评论是“这家手机的价格太便宜了，感觉有点不真实”，如果我们想提取关键词，理想情况是分出“手机”、“价格”、“便宜”、“不真实”，但如果分词工具把“便宜”这个词错误地切开了，或者把“太便宜”错误地组合在一起，提取出的关键词就可能失去原本的语义，情感分析也一样，很多情感词是固定的搭配，不错”、“很棒”、“太坑了”，分错了词,就判断不准用户是夸还是骂。

在“搜索引擎”和“推荐系统”里，分词更是关键，当你搜索“苹果手机”时，搜索引擎需要准确理解你要找的是“苹果”这个品牌的“手机”，而不是关于“苹果”这种水果的“手机”图片（虽然这种组合很奇怪），它需要把“苹果手机”正确识别为一个整体概念，推荐系统也一样，它需要从你读过的文章内容里，准确地切分出代表你兴趣点的词语，比如你经常看含有“深度学习”、“神经网络”这些词的文章，系统才能给你推荐相关的技术内容，如果分词总是把“深度学习”切成“深度”和“学习”，那系统可能会误以为你对“深度”旅游或者“学习”方法感兴趣，推荐就完全跑偏了。（引用自知乎专栏“算法美食屋”：《文本分析里中文分词怎么用？其实挺关键的，得先搞清楚它是啥原理和作用》）

分词是怎么做到的呢？现在的分词方法主要有两大类，一类是基于“词典”的分词，这就像我们查字典，系统里有一个预先准备好的大词库（词典），里面存放着成千上万个词语，分词的时候，系统就拿这段文本去词典里找，看能匹配上哪些词，常用的方法是“最大匹配法”，简单说就是从一个字开始，尽量匹配能匹配到的最长的词，比如面对“中国人民万岁”，它会先尝试找“中国人民万岁”这个词，词典里没有；然后找“中国人民”，找到了，切出来；剩下“万岁”，再切出来，这种方法速度快，非常依赖词典的好坏，如果词典里没有新词，凡尔赛文学”,它就切不出来了。

另一类是基于“统计模型”的分词，或者叫“序列标注”方法，这种方法更智能一些，它不单纯依赖一个固定的词典，而是通过让机器学习大量已经分好词的数据，自己找出规律，它把分词问题看作一个给每个汉字打标签的问题，可以定义四种标签：B（词的首字）、M（词的中间字）、E（词的尾字）、S（单独成词的字），对于“我爱你”这句话，正确的标注就是“我/S 爱/B 你/E”，模型通过学习，会知道“爱”后面跟着“你”时，“爱”是B（开头）、“你”是E（的概率很高，从而正确地把“爱你”组合成一个词，这种方法对新词、歧义词的处理能力更强。（引用自知乎专栏“算法美食屋”：《文本分析里中文分词怎么用？其实挺关键的，得先搞清楚它是啥原理和作用》）

在实际应用中，最先进的分词工具，比如jieba、HanLP等，通常是把这两种方法结合起来用，既利用词典的准确性，又借助统计模型的泛化能力,以达到最好的效果。

所以说，别看分词只是自然语言处理的第一步，它的好坏直接决定了后面一系列任务的天花板，用个不恰当的比喻，分词就像是炒菜前的切菜，菜切得大小不均、连刀不断，就算调料再好、火候再准，炒出来的菜味道和卖相也会大打折扣，在做任何中文文本相关的项目时，花点时间“先搞清楚它是啥原理和作用”，选择一个合适的分词工具，并根据自己的业务领域进行适当的调整（比如加入领域专有名词）,绝对是事半功倍的关键一步。