TKO木下の動画が絶賛炎上中だと聞きつけまして
早速コメントを感情分析してみました

解説動画はこちら


炎上している動画はこんな感じです。


素晴らしい低評価の数ですねー。
私は動画は見ておりませんが
低定評に1評投じさせていただきました。


さて
感情分析のやり方ですが
Youtubeのコメントと形態素解析
それと単語感情極性対応表というものを使います。

単語感情極性対応表は
こちらを参照してください。



中身はこんな感じで

ない:ない:助動詞:-0.999997
酷い:ひどい:形容詞:-0.999997
病気:びょうき:名詞:-0.999998
死ぬ:しぬ:動詞:-0.999999
悪い:わるい:形容詞:-1

ポジティブワード、ネガティブワードがあり
ポジティブ方向になると0から1点
ネガティブ方向は-1から0点の間の数値を取ります。

単語のポジネガ具合が分かる訳です。

手順としては


 2.BeautifulSoupでHTMLの中から
  コメントの部分だけ拾い上げる。

3.コメントを形態素解析して単語感情極性対応表と
  比較してポジネガ点数をつける
  ポジティブだとプラス,ネガティブだとマイナスの点になる

まずはじめに
動画のコメントを集めなければならないので
動画のページをブラウザーで開いて
コメントを表示させたら、HTMLファイルに保存します。

次にPythonのコードを使って
HTMLの構文解析を行い、コメントを抽出します。

まず必要なライブラリは

from bs4 import BeautifulSoup
from janome.tokenizer import Tokenizer
t = Tokenizer()

janomeは後に使いますが、インストールしていない方は
pip　などでインストールしておきましょう。

次にhtmlファイルを読み込んで変数に格納しておきます。

with open('htmlのファイル') as _f:
    html = _f.read()

お次はコメント部分の抽出です。
htmlファイルの中からコメントを抽出して
リストに格納しています。

soup = BeautifulSoup(html ,'lxml')
contents = soup.find('div',id='contents')
ytds = contents.find_all('ytd-comment-thread-renderer')
result_list = []
for ytd in ytds:
    span1 = ytd.find('span',class_="style-scope ytd-comment-renderer")
    name = span1.text.replace('\n','').replace(' ','') if span1 is not None else ''
    span2 = ytd.find('span',id="vote-count-middle")
    high = span2.text.replace('\n','').replace(' ','') if span2 is not None else ''
    come1 = ytd.find('yt-formatted-string', id="text")
    rep = come1.text.replace(' 件の返信を表示','').replace(' ','') if come1 is not None else ''
    come2 = ytd.find('div',id="content", class_="style-scope ytd-expander")
    com = come2.text.replace('\n','').replace(' ','') if come2 is not None else ''
    tmp = [name,high,rep,com]
    result_list.append(tmp)

次は形態素解析です。

単語感情極性対応表は事前にダウンロードしておいて
CSVファイルなどにしておいてください。

単語を辞書型に取り込みます。

posinega = {}
with open('posinega.csv') as _f:
    for row in _f:
        rows = row.replace('\n','').split(':')
        posinega[rows[0]] = float(rows[3])

最後にコメントを形態素解析して
ポジネガで点数をつけていきます。

nega_result = {}
for rows in result_list:
    count = 0
    for token in t.tokenize(rows[3]):
        h = token.part_of_speech.split(',')[0]
        if any(['名詞'==h,'形容詞'==h,'動詞'==h]):
            num=len(token.surface)
            key = token.surface
            if key in posinega:
                count+=posinega[key]
    nega_result[rows[3]]=count

これでコメントにポジネガの点数が付きました。

最もネガティブなコメントは・・・

-53.76871590000002
私は叙々苑でバイトをしていた者です。
1年前、TKO木下が私のバイト先東京の叙々苑を
訪れた際の記憶は忘れられません。 悪い意味で。
TKO木下は入店早々に既に様子がおかしく、
ホール担当だった私の胸ぐらを急に掴み一言。
「さっさと案内しろやボケ」と。
しかし木下が入店する所を見て3秒程で
駆けつけたのにも関わらすこの暴言暴力
・・・
辛いです。

と全文はかなり長いので端折りますが
冒頭を見るだけでもかなりネガティブさが伝わる文面です。

ネガティブの一番悪いものでも-1点なので
60個近くネガティブな単語が使われているコメントでした。

これだけの長文を想像で書くのは無理でしょうから
実体験だったんだろうと思いますね。

というようなネガティブコメントが多数並んでいました。

逆に
ポジティブなコメント有るんかな？
みてみましょう。

11.14069 ウケる笑笑低評価笑笑笑笑笑笑笑笑笑笑
2.890590 おはよう。くっさいなぁ～笑笑笑
2.530665 祝！低評価日本一更新！
1.666281 2倍速だと面白い
1.412733 朗報低評価日本一達成
1.374283 むしろコメ欄見にきてる笑日本一の低評価王にしてあげるためにみんな低評価押そうな
1.299542 宮迫博之の真似すれば売れるとおもったんやろ笑笑
1.261103 (*'∇')/ﾟ･:*【祝】*:･ﾟ＼('∇'*)低評価日本一！よっ！！あっぱれ！流石です！！
0.989242 ヒカルを越した天才
0.989199 適当にやってもいいよ君が面白いと思っても多分面白くないから
0.989199 ff7本当に面白いよ😃
0.963530 なんかこんだけ荒れてることすらおいしいな〜とか思ってそう。笑 0.935754 大喜利コメ見てるから黙れ
0.932040 バチスタすごい好きでしたw
0.932040 本当にお笑いが好きならやらんやろアホか
0.921042 うちの姪が初めて掴まり立ちしましてね。みんなで喜びました。
0.769555 来世で頑張って下さい❗️来世で応援します‼️
0.650668 ファンのみなさま、、、っておるんか？(笑)
0.568479 低評価日本一おめでとう㊗️あと、誰に謝ってんねん
0.568479 おめでとう低評価日本一‼️
0.568479 低評価日本一おめでとうございます！
0.568479 低評価日本一おめでとナス！


低評価おめでとう、など
悪い意味で褒めてる感じですねwwwwww。

というわけで、まとめですが

タグ ：

#Python

#プログラミング

#感情分析

#TKO木下

#形態素解析

米失業保険申請者数のデータがあったので
可視化してみました。


解説動画はこちら



データはここにあります。






これをcsvファイルにしておきます。
列は「N.S.A(日付)」「S.F.(申請数)」の２列分を用意します。




pandas を使ってデータを読み込みします。

import pandas as pd

df = pd.read_table("米失業申請者数データ20200328.csv")
df['day'] = pd.to_datetime(df['N.S.A'], format='%m/%d/%Y')

「N.S.A」列が日付の部分の文字列「m/d/y」形式になっているので
日付のデータに直します。

次に可視化ツールのplotlyの方ですが
普通はインストールされていないと思うので
インストールしていない方はpip install plotly
などでインストールしてください。

以下のコードがこのデータを可視化するコードです。

import plotly
plotly.offline.init_notebook_mode(connected=False)
data = [
    plotly.graph_objs.Scatter(x=df["day"], y=df["S.F."], name="Claims")
]
layout = plotly.graph_objs.Layout(
    width=1000, height=600,
    title="title",
    xaxis={"title":"Years"},
    yaxis={"title":"Claims"},
)
fig = plotly.graph_objs.Figure(data=data, layout=layout)
plotly.offline.iplot(fig, show_link=False) 

日付を横軸(x) , 申請者数を縦軸(y)にあてて
線グラフを作ります。

可視化の結果は・・・


右上にplotlyのツール類が表示され、ズームインアウトや
選択など色々選んで操作できます。

一般的なpandas、matplotlibの可視化では
動かすことができないので
可視化された図表を動かして見ることのできる
plotlyはかなりの優れものです。

データの方を見てみると
1982年とリーマンショックのあった2009年に
かなり多くの申請があったことが見えました。

しかし2020年3月になると
ドーンと跳ね上がって・・・



爆増しているのが見えます。
レポートの数値から見ると
失業申請者数は600万人を超えているみたいですね。

リーマンの時でさえ100万人に満たなかった訳で
今回の影響がどれだけヤバイのかがすぐにわかります。

このデータは3/28のデータ
今日は4/5なのでそこから1週間経ってるいるため
さらに倍増している可能性もあります。

一説によると
アメリカの労働人口の2割ほどが影響を受けているそうで
もし、日本でも同様の事態となると
数十万人 - 100万人単位で
影響を受ける方が増えると予想されます。

特にレストランやバー、映画館、ホテル、スポーツジム
などは営業停止しており
特定の製造業も工場の稼働停止をしています。

リーマンの時は稼働停止までは至っていなかったと思うので
10年前の大不況に比べると
はるかに大きな不況が目の前に来ています。

前回の余波は、自分も食らったので2年くらい
まともな仕事が無かったです。

今回、それを超えるようなことに
ならないことを願うばかりです。

エンジニアの対策としては
現状新規案件が白紙、撤回されたり
内定も取り消されるケースが増えているようです。

フリーランスになったり、転職活動は
かなり厳しくなると予想されるので
今雇用があるなら、そこでじっと騒動が収まるまで
耐えるしかないかなと思います。

頑張って乗り切れば
明るい未来が待っていると思いたい。

それでは。



 

タグ ：

#Python

#プログラミング

#可視化

#plotly

#米失業保険申請

#コロナ

グッバイ、イレーーギュラーーーーー
とか叫びたくなる今日この頃

なんとなく
Official髭男dismの歌詞の特徴を見てみたい
と思ってしまいました。

解説動画はこちら





はい
ひげだんさんの歌詞の特徴を見ていきたいですが
事前準備として
1.歌詞を集める
2.形態素解析する
3.テキストファイルにする

この作業が必要でーーーす。

これができましたら
以下のコードを試すことができます。

先ずは
ワードクラウドで歌詞の特徴を可視化する。

ワードクラウドは歌詞に出てくる単語の出現頻度順で
文字を大きさを決めて、1枚にまとめたものです。

コードは

from wordcloud import WordCloud
text_file = open('higedan_list.txt', encoding='utf-8')
text = text_file.read()

#fpath = 'C:/Windows/Fonts/meiryob.ttc'
fpath = '/System/Library/Fonts/ヒラギノ丸ゴ ProN W4.ttc'
stop_words = []
#stop_words = ['そう', 'ない', 'いる', 'する', 'まま', 'よう', 'てる','しまう','それ','なる', 'こと', 'もう', 'いい', 'ある', 'ゆく', 'れる']
wordcloud = WordCloud(background_color='white',font_path=fpath,width=800, 
  height=600, stopwords=set(stop_words),
                      regexp=r"[\w']+"
                     ).generate(text)
wordcloud.to_file('higedan.png')
plt.figure(figsize=(12,9))
plt.imshow(wordcloud)
plt.axis("off")
plt.show()

このコードではfpathでフォントの場所を指定しているので
お使いのマシンのパスにあわせてください。

ワードクラウドの結果は


する、僕、君
が大きいですねーーー

「僕と君がする」んでしょうね!!!!

何をするかは存じませんが
割と一般的な語句が多いようですね。

歌詞の特徴としてはそこまで
突拍子もない単語は連呼していない訳です。

次に単語の数ではなく
TF-IDFで重要そうな言葉を見てみます。

TF とは Term Frequency の略で、単語の出現頻度を表します。
IDF とは Inverse Document Frequency の略で、逆文書頻度を表します。

これを掛け合わせたものがTF-IDFで

ある単語が多くの文書で出現するほど値は下がり
特定の文書にしか出現しない単語の重要度を上げる役割をします。

TF-IDF値は0-1の間の値を取ります。
重要なキーワードは1に近づきます。

0.25より大きなワードを出してみました。

import numpy as np
from sklearn.feature_extraction.text import TfidfVectorizer
np.set_printoptions(precision=2)

with open('higedan_list.txt','r') as _f:
    docs = [row.replace('\n','') for row in _f]

vectorizer = TfidfVectorizer() 
X = vectorizer.fit_transform(docs)

words = vectorizer.get_feature_names()
for did, vec in zip(range(len(docs)), X.toarray()):
    print('doc id : ', did)
    for w, tfidf in sorted(enumerate(vec), key=lambda x: x[1], reverse=True):
        if tfidf>0.25:
            wo = words[w]
            print('\t{0:s}\t{1:f}'.format(wo, tfidf))

doc id :  1
	love	0.721728

      ・・・

doc id :  43
	違う	0.329506
	グッ	0.327694
	バイ	0.296629
	もっと	0.265779

doc id1は最近佐藤健さんが主演したドラマの主題歌です。

loveという単語は
他の歌詞にはあまり使われていないけど
ここの歌詞では連呼されてるんでしょうねーー

tf-idf 閾値0.1にすると
「イレギュラー」も含まれてきます。

doc id43は映画の主題歌になった曲です。
「グッバイ」が特徴的な感じしますね。

最後にn-gramをみてみます。

n-gramとはn個の単語の繋がりを表す言葉で
3つの単語であればtrigramになります。

with open('higedan_list.txt','r') as _f:
    docs = [row.replace('\n','').split(' ') for row in _f]

def n_gram(st, n):
    return [st[i:i+n] for i in range(len(st)-n+1)]

counts = {}
for doc in docs:
    trigrams = n_gram(doc,3)
    for tri in trigrams:
        key = ''.join(tri)
        if key in counts:
            counts[key] +=1
        else:
            counts[key] = 1
for k,v in sorted(counts.items(),reverse=True,key=lambda x:x[1]):
    print(k,v)

metellme 16
StandByYou 15
tellmetell 14

・・・・

一番多かったのは英語の歌詞の繋がりでした。
かなり英語の歌詞を多用している感じがあります。

まとめると

・全体的に割と一般的な日本語を多く使用する。
・1つの歌詞でキーワードになるような単語がある
「グッバイ」「イレギュラー」
・割と英語を多用するところもある。

かなーと思います。

歌詞の特徴を見るには
他にもいろんな手法があると思いますが
比較的簡単な方法をご紹介しました。

皆さんもぜひ試してみてください。
それでは。

タグ ：

#Python

#プログラミング

#Official髭男dism