東方創想話で楽しい字句解析

$ gem install sosowa

#!/usr/bin/env ruby
# coding: utf-8
# test1.rb

require "sosowa"

latest_log = Sosowa.get
ss = latest_log[0]
puts "タイトル: #{ss.title}"
puts "作者: #{ss.author}"

$ ruby test1.rb
タイトル: 小鳥
作者: くじらのたましい

#!/usr/bin/env ruby
# coding: utf-8
# test2.rb

require "sosowa"

latest_log = Sosowa.get
index = latest_log[0]
ss = index.fetch
puts ss.text

$ ruby test2.rb
！キャラ崩壊注意！<br><br><br><br><br><br>
キラキラと、月の光が湖に反射しているのがよく見えた。<br>
やや風が強い夜であるから、
（省略）

/usr/bin/ruby -e "$(/usr/bin/curl -fsSL https://raw.github.com/mxcl/homebrew/master/Library/Contributions/install_homebrew.rb)"

$ brew install mecab
$ brew install mecab-ipadic

$ cd tmp
$ wget http://mecab.googlecode.com/files/mecab-ruby-0.994.tar.gz
$ tar zxvf mecab-ruby-0.994.tar.gz
$ cd mecab-ruby-0.994
# extconf.rbを開いて`mecab-config`の前の行に`$LIBS += '-L/usr/local/Cellar/mecab/0.994/lib'`を代入して保存
$ ruby extconf.rb
$ make
$ make install

$ gem install mecab-modern

$ cd /tmp
$ git clone git://github.com/oame/thdic-mecab.git
$ cd thdic-mecab
$ rake build
$ rake install

#!/usr/bin/env ruby
# coding: utf-8
# test3.rb

require "mecab-modern"
require "sosowa"

mecab = MeCab::Tagger.new

text = Sosowa.get.sample.fetch.text.plain
tokens = mecab.parseToNode(text)
tokens.each do |token|
  puts token.feature
end

$ ruby test3.rb
（省略）
名詞,固有名詞,人名,一般,*,*,ムラサ,ムラサ,ムラサ,東方Project
助詞,格助詞,一般,*,*,*,に,ニ,ニ
記号,括弧開,*,*,*,*,「,「,「
感動詞,*,*,*,*,*,ねえ,ネエ,ネー
名詞,一般,*,*,*,*,星,ホシ,ホシ
記号,読点,*,*,*,*,、,、,、
名詞,一般,*,*,*,*,いっしょ,イッショ,イッショ
助詞,格助詞,一般,*,*,*,に,ニ,ニ
名詞,一般,*,*,*,*,野球,ヤキュウ,ヤキュー
助詞,並立助詞,*,*,*,*,や,ヤ,ヤ
名詞,一般,*,*,*,*,ろう,ロウ,ロー
記号,一般,*,*,*,*,！,！,！
記号,括弧閉,*,*,*,*,」,」,」
助詞,格助詞,引用,*,*,*,と,ト,ト
動詞,自立,*,*,五段・ワ行促音便,未然形,誘う,サソワ,サソワ
動詞,接尾,*,*,一段,連用形,れる,レ,レ
記号,読点,*,*,*,*,、,、,、
名詞,一般,*,*,*,*,ボール,ボール,ボール

$ gem install ugigi

#!/usr/bin/env ruby
# coding: utf-8
# test4.rb
require "mecab-modern"
require "kconv"
require "sosowa"
require "ugigi"

mecab = MeCab::Tagger.new

novel = Sosowa.get.sample.fetch
puts "-"*30
puts novel.title
puts "作者: #{novel.author.name}"
puts "-"*30
text = novel.plain
tf = {}
n = 15699.0 #=> 創想話に登録されているSSの数
puts "代表キーワード候補を抽出中..."
tokens = mecab.parseToNode(text)
tokens.each do |token|
  	  next unless token.feature =~ /名詞/
  	  tf[token.surface] ||= 0
  	  tf[token.surface] += 1
end

puts "代表キーワード候補数: #{tf.size}"

tfidf_list = []
tf.each do |e|
  	  print "TF: #{e[0]} ... \t"
  	  df = Ugigi.total_count(:free => e[0], :sswp => 0, :compe => 0)
  	  if df == 0
    print "N/A\n"
   		tfidf_list << [e[0], 0]
	next
  	  end
  	  print "DF: #{df} \t"
  	  tfidf = e[1] * Math.log(n/df)
  	  print "TF-IDF: #{tfidf}\n"
  	  tfidf_list << [e[0], tfidf]
end
tfidf_list = tfidf_list.sort{|a, b| b[1] <=> a[1]}

puts "集計終わり！"

10.times do |n|
  	  l = tfidf_list[n]
  	  puts "#{n+1}. #{l[0]} \tTF-IDF: #{l[1]}"
end

$ ruby test4.rb
$ ------------------------------
プラスチックハート
作者: 猫井はかま
------------------------------
代表キーワード候補を抽出中...
代表キーワード候補数: 362
TF: 蓄音機 ... 	DF: 54 	TF-IDF: 5.668986525680752
TF: 曲 ... 	DF: 4248 	TF-IDF: 2.6075340186465024
TF: 蝉 ... 	DF: 491 	TF-IDF: 6.923052888901011
TF: 声 ... 	DF: 13775 	TF-IDF: 0.382079814671732
TF: 夏 ... 	DF: 3464 	TF-IDF: 4.523373907688101
TF: 季節 ... 	DF: 2897 	TF-IDF: 5.059618723427027
TF: 静けさ ... 	DF: 709 	TF-IDF: 3.0941150457128983
TF: 制御 ... 	DF: 1127 	TF-IDF: 2.6306560582052496
（省略）
TF: 札 ... 	DF: 2323 	TF-IDF: 1.9073558394746168
TF: どちら ... 	DF: 5526 	TF-IDF: 1.040751066761664
TF: </ ... 	DF: 11 	TF-IDF: 7.2600752994466555
TF: > ... 	DF: 1610 	TF-IDF: 2.273981114266517
集計終わり！
1. 芳香 	TF-IDF: 236.26274459938386
2. —— 	TF-IDF: 35.857217044481985
3. ロボット 	TF-IDF: 30.04396190056222
4. 青娥 	TF-IDF: 20.50148431636708
5. 心臓 	TF-IDF: 19.8994053046905
6. span 	TF-IDF: 17.92964678337016
7. 鼓動 	TF-IDF: 17.474439985140872
8. 僵尸 	TF-IDF: 17.118716567153832
9. 作り物 	TF-IDF: 16.810597827549298
10. 蓄音器 	TF-IDF: 14.520150598893311