[00315121]一种微博特征项提取方法和改进TF‑IDF归一化方法
交易价格:
面议
所属行业:
分析仪器
类型:
发明专利
技术成熟度:
正在研发
专利所属地:中国
专利号:CN201610969960.8
交易方式:
技术转让
技术转让
技术入股
联系人:
厦门立德软件公司
进入空间
所在地:
- 服务承诺
- 产权明晰
-
资料保密
对所交付的所有资料进行保密
- 如实描述
技术详细介绍
本发明公开了一种微博特征项提取方法和改进TF‑IDF归一化方法,结合CHI方法和改进TF‑IDF归一化方法的方法来提取特征项,从而来降低空间向量的维数。由于考虑到了中文词中存在一义多词或一词多义的缘故,对传统的归一化TF‑IDF归一化方法进行了一些改进,即在计算词的权重时结合了词的语义。通过该归一化方法来提取特征项不仅可以降低建空间向量时的维度,而且还可以减少话题的重复性,但在计算权重后容易忽略一些有利于分类的低频词,故在改进TF‑IDF归一化方法的同时还结合了CHI统计方法,该方法可以发现一些有利于文本分类结果的低频词。故能从一定程度上提高话题检测的准确率和速度。
本发明公开了一种微博特征项提取方法和改进TF‑IDF归一化方法,结合CHI方法和改进TF‑IDF归一化方法的方法来提取特征项,从而来降低空间向量的维数。由于考虑到了中文词中存在一义多词或一词多义的缘故,对传统的归一化TF‑IDF归一化方法进行了一些改进,即在计算词的权重时结合了词的语义。通过该归一化方法来提取特征项不仅可以降低建空间向量时的维度,而且还可以减少话题的重复性,但在计算权重后容易忽略一些有利于分类的低频词,故在改进TF‑IDF归一化方法的同时还结合了CHI统计方法,该方法可以发现一些有利于文本分类结果的低频词。故能从一定程度上提高话题检测的准确率和速度。