文本聚类:
文本分类跟数值不同在于 要先对文本进行分词，并用TFIDF计算它们的权重 然后用权重向量进行计算。
思路：计算两篇文档的相似度，最简单的做法就是用提取文档的TF/IDF权重，然后用余弦定理计算两个多维向量的距离。能计算两个文本间的距离后，用标准的k-means算法就可以实现文本聚类了。
完整项目下载：
http://download.csdn.net/detail/q383965374/5960053
下面是一个控制台聚类器的代码:
Program.cs
using System;
using System.Collections.Generic;
using System.IO;
using System.Text;
using WawaSoft.Search.Common;
namespace WawaSoft.Search.Test
{
class Program
{
static void Main(string[] args)
{
//1、获取文档输入
string[] docs = getInputDocs("input.txt");
if (docs.Length < 1)
{
Console.WriteLine("没有文档输入");
Console.Read();
return;
}
//2、初始化TFIDF测量器，用来生产每个文档的TFIDF权重
TFIDFMeasure tf = new TFIDFMeasure(docs, new Tokeniser());
int K = 3; //聚成3个聚类
//3、生成k-means的输入数据，是一个联合数组，第一维表示文档个数，
//第二维表示所有文档分出来的所有词
double[][] data = new double[docs.Length][];
int docCount = docs.Length; //文档个数
int dimension = tf.NumTerms;//所有词的数目
for (int i = 0; i < docCount; i++)
{
for (int j = 0; j < dimension; j++)
{
data[i] = tf.GetTermVector2(i); //获取第i个文档的TFIDF权重向量
}
}
//4、初始化k-means算法，第一个参数表示输入数据，第二个参数表示要聚成几个类
WawaKMeans kmeans = new WawaKMeans(data, K);
//5、开始迭代
kmeans.Start();
//6、获取聚类结果并输出
WawaCluster[] clusters = kmeans.Clusters;
foreach (WawaCluster cluster in clusters)
{
List<int> members = cluster.CurrentMembership;
Console.WriteLine("-----------------");
foreach (int i in members)
{
Console.WriteLine(docs[i]);
}
}
Console.Read();
}
/// <summary>
/// 获取文档输入
/// </summary>
/// <returns></returns>
private static string[] getInputDocs(string file)
{
List<string> ret = new List<string>();
try
{
using (StreamReader sr = new StreamReader(file, Encoding.Default))
{
string temp;
while ((temp = sr.ReadLine()) != null)
{
ret.Add(temp);
}
}
}
catch (Exception ex)
{
Console.WriteLine(ex);
}
return ret.ToArray();
}
}
}
input.txt内容
奥运 拳击 入场券 基本 分罄 邹市明 夺冠 对手 浮出 水面
股民 要 清楚 自己 的 目的
印花税 之 股民 四季
杭州 股民 放 鞭炮 庆祝 印花税 下调
残疾 女 青年 入围 奥运 游泳 比赛 创 奥运 历史 两 项 第一
介绍 一 个 ASP.net MVC 系列 教程
在 asp.net 中 实现 观察者 模式 ，或 有 更 好 的 方法 （续）
输 大钱 的 股民 给 我们 启迪
Asp.Net 页面 执行 流程 分析
运动员 行李 将 “后 上 先 下” 奥运 相关 人员 行李 实名制
asp.net 控件 开发 显示 控件 内容
奥运 票务 网上 成功 订票 后 应 及时 到 银行 代售 网点 付款
某 心理 健康 站 开张 后 首 个 咨询 者 是 位 新 股民
ASP.NET 自定义 控件 复杂 属性 声明 持久性 浅析 |
