どん底から這い上がるまでの記録

どん底から這い上がりたいけど這い上がれない人がいろいろ書くブログ(主にプログラミング)

docs

gensimのWord2Vecを使ってみる。

gensimのWord2Vecの使ってみたので、そのメモ。 今回はWikipediaの文章を使ってやってみますが、すぐに学習結果を知りたかったので少ないデータで学習をしています。 スポンサーリンク // 環境 データの用意 ライブラリのインポート Wikipediaの記事をダウン…

BeautifulSoupを使ってWikipediaのテキストを抽出する

BeautifulSoupを使ってWikipedia上のテキストを抽出してみました。 環境 Wikipediaの記事から<p>で囲まれたテキストを抽出する ライブラリ Wikipediaの記事をダウンロード BeautifulSoup <p>で囲まれたテキストを取り出す 環境 Windows 10 python 3.6 Wikipediaの</p></p>…

urllibを使ってWikipediaの記事をダウンロードする。

pythonのモジュールurllibを使ってWikipediaの記事をダウンロードしてみました。 環境 Wikipediaの記事をダウンロードする ライブラリのインポート urlopenを使う 環境 Windows 10 python 3.6 Wikipediaの記事をダウンロードする ライブラリのインポート 必…

MeCab

インポート import MeCab インストール Ubuntu Google Colaboratory Windows 分かち書き 名詞のみを取り出す インストール Ubuntu > sudo apt install aptitude> sudo aptitude install mecab libmecab-dev mecab-ipadic-utf8 git make curl xz-utils file> …

pickle

インポート import pickle データを保存 データを読み込む データを保存 sample = [[0, 1], [1, 2]] with open("sample.pickle", mode="wb") as f: pickle.dump(sample, f) データを読み込む with open("sample.pickle", mode="rb") as f: data = pickle.loa…

pandas

インポート import pandas as pd csvファイルを読み込んでDataFrameにする。 欠損値の削除 欠損値を含む列を取り除く 値が全て欠損値の列を取り除く 欠損値を含む行を取り除く DataFrameに欠損値があるか確認する DataFrameをcsvファイルに書き込む 正規化 m…

csv

インポート import csv データをcsvファイルに書き込む データをcsvファイルに書き込む # Toy dataset PassengerId = [1000, 1001, 1002] Name = ["John", "Bob", "Trump"] # Write csv file with open("sample.csv", "w") as f: writer = csv.writer(f, lin…