どん底から這い上がるまでの記録

どん底から這い上がりたいけど這い上がれない人がいろいろ書くブログ(主にプログラミング)

MeCab

インポート import MeCab インストール Ubuntu Google Colaboratory 分かち書き 名詞のみを取り出す インストール Ubuntu > sudo apt install aptitude> sudo aptitude install mecab libmecab-dev mecab-ipadic-utf8 git make curl xz-utils file> pip inst…

pickle

インポート import pickle データを保存 データを読み込む データを保存 sample = [[0, 1], [1, 2]] with open("sample.pickle", mode="wb") as f: pickle.dump(sample, f) データを読み込む with open("sample.pickle", mode="rb") as f: data = pickle.loa…

pandas

インポート import pandas as pd csvファイルを読み込んでDataFrameにする。 欠損値の削除 欠損値を含む列を取り除く 値が全て欠損値の列を取り除く 欠損値を含む行を取り除く DataFrameに欠損値があるか確認する DataFrameをcsvファイルに書き込む 正規化 m…

csv

インポート import csv データをcsvファイルに書き込む データをcsvファイルに書き込む # Toy dataset PassengerId = [1000, 1001, 1002] Name = ["John", "Bob", "Trump"] # Write csv file with open("sample.csv", "w") as f: writer = csv.writer(f, lin…

gensimとPyTorchを使ったlive doorニュースコーパスのテキスト分類

NLP

今回はgensimとPyTorchを使ってニュース記事の分類をやってみます。 環境 データの用意 前処理 単語辞書を作る データの変換 ネットワークの定義 学習 テスト おわり 環境 Windows10 Python 3.6 PyTorch 0.2 gensim 2.3.0 MeCab データの用意 ここにあるー>…

Google Adsenseの審査が通った話

Google Adsenseの審査が通りました。 審査方法がちょくちょく変わるみたいなので、審査が通ったときの私の情報とその過程を少し書いておきます。 ※2018年3月31日時点での情報です。 私は3月の16日に申請したので、だいだい2週間くらいで審査が終了しました。…

RadioButtonを使う

今回はRadioButtonを少し触ってみます。 今回作ったもの ↓↓↓ まずRadioButton以外を作ってみます。 import tkinter as tk class App(tk.Tk): def __init__(self): super(App, self).__init__() self.title("Check Button Example") self.geometry("+{}+{}".f…

Bag of Wordsについて書いてみる

NLP

Bag of Wordsについて書いてみます。 ほとんどの機械学習は入力として数値データを与えなければなりません。そのため、自然言語処理において自然言語で書かれたデータを何らかの形で数値に変換する必要があります。Bag of Wordsはそのための一つの方法になり…