电子技术论坛_中国专业的电子工程师学习交流社区-中电网技术论坛

标题: 聚类（4） [打印本页]

作者: look_w 时间: 2019-4-17 18:59 标题: 聚类（4）

文本聚类:

文本分类跟数值不同在于要先对文本进行分词，并用TFIDF计算它们的权重然后用权重向量进行计算。

思路：计算两篇文档的相似度，最简单的做法就是用提取文档的TF/IDF权重，然后用余弦定理计算两个多维向量的距离。能计算两个文本间的距离后，用标准的k-means算法就可以实现文本聚类了。

完整项目下载：

http://download.csdn.net/detail/q383965374/5960053

下面是一个控制台聚类器的代码:

Program.cs

using System;
using System.Collections.Generic;
using System.IO;
using System.Text;
using WawaSoft.Search.Common;

namespace WawaSoft.Search.Test
{
      class Program
      {
         static void Main(string[] args)
         {
            //1、获取文档输入
            string[] docs = getInputDocs("input.txt");
            if (docs.Length < 1)
            {
                  Console.WriteLine("没有文档输入");
                  Console.Read();
                  return;
            }

            //2、初始化TFIDF测量器，用来生产每个文档的TFIDF权重
            TFIDFMeasure tf = new TFIDFMeasure(docs, new Tokeniser());

            int K = 3; //聚成3个聚类

            //3、生成k-means的输入数据，是一个联合数组，第一维表示文档个数，
            //第二维表示所有文档分出来的所有词
            double[][] data = new double[docs.Length][];
            int docCount = docs.Length; //文档个数
            int dimension = tf.NumTerms;//所有词的数目
            for (int i = 0; i < docCount; i++)
            {
                  for (int j = 0; j < dimension; j++)
                  {
                     data[i] = tf.GetTermVector2(i); //获取第i个文档的TFIDF权重向量
                  }
            }

            //4、初始化k-means算法，第一个参数表示输入数据，第二个参数表示要聚成几个类
            WawaKMeans kmeans = new WawaKMeans(data, K);
            //5、开始迭代
            kmeans.Start();

            //6、获取聚类结果并输出
            WawaCluster[] clusters = kmeans.Clusters;
            foreach (WawaCluster cluster in clusters)
            {
                  List<int> members = cluster.CurrentMembership;
                  Console.WriteLine("-----------------");
                  foreach (int i in members)
                  {
                     Console.WriteLine(docs[i]);
                  }

            }
            Console.Read();
         }

         /// <summary>
         /// 获取文档输入
         /// </summary>
         /// <returns></returns>
         private static string[] getInputDocs(string file)
         {
            List<string> ret = new List<string>();
            try
            {
                  using (StreamReader sr = new StreamReader(file, Encoding.Default))
                  {
                     string temp;
                     while ((temp = sr.ReadLine()) != null)
                     {
                        ret.Add(temp);
                     }
                  }
            }
            catch (Exception ex)
            {
                  Console.WriteLine(ex);
            }
            return ret.ToArray();
         }
      }
}

input.txt内容

奥运拳击入场券基本分罄邹市明夺冠对手浮出水面
股民要清楚自己的目的
印花税之股民四季
杭州股民放鞭炮庆祝印花税下调
残疾女青年入围奥运游泳比赛创奥运历史两项第一
介绍一个 ASP.net MVC 系列教程
在 asp.net 中实现观察者模式，或有更好的方法（续）
输大钱的股民给我们启迪
Asp.Net 页面执行流程分析
运动员行李将 “后上先下” 奥运相关人员行李实名制
asp.net 控件开发显示控件内容
奥运票务网上成功订票后应及时到银行代售网点付款
某心理健康站开张后首个咨询者是位新股民
ASP.NET 自定义控件复杂属性声明持久性浅析

欢迎光临电子技术论坛_中国专业的电子工程师学习交流社区-中电网技术论坛 (http://bbs.eccn.com/)