長年？PyTorchによる自然言語処理の実装方法がなんとなく分かっているようで分かっていない状態の私でしたが、、、 最近やっと実装方法が分かったので、でもやっぱり分かっていないので、本当に理解できているのかの確認の意味を込めて言語モデルの実装方法…
前回書いた記事の続きです。 www.pytry3g.com 変更点 MeCabの対策 paddingについて __init__の変更 encode()の変更 関連記事 ソースコード 変更点 mecabを使って形態素解析をする際にエラーが出る場合があるので、それの対策とpaddingについて少し変更する。…
Google Colaboratory上でGoogle Driveにあるプログラムやテキストファイルを読み込む方法について書いてみます。 参考リンク マウントする Google Drive内のテキストファイルを読み込む 関連記事 参考リンク 下のリンクにあるMounting Google Drive locally…
参加者数 解き方 コードの説明 ソースコード 参加者数 The Number of Participants | Aizu Online Judge 解き方 各部門の参加者を足すだけ。 コードの説明 入力を空白区切りで分割してリストにする。mapを使いリストの要素を整数に変換してからsum()で要素を…
じゃんけん 解き方 ソースコード コードの補足 じゃんけん Rock, Paper, Scissors | Aizu Online Judge 解き方 ５人のじゃんけんの手を入力順にリストに入れる。今回は勝敗の出力は引き分けと勝ち負けの２通りに分けて考えています。 はじめにじゃんけんの結…
英語の文章 解き方 コードの説明 ソースコード 別解 関連リンク 英語の文章 問題ページ 解き方 与えられた文字列を単語に分割し、最も出現頻度が高い単語と、最も文字数が多い単語を見つける。 コードの説明 出現頻度はcollectionsのCounter、文字数について…
Vol. 0-3 Volume0 Vol. 10, 15, 30 Volume10 Vol. 11-13, 16 Volume12 Vol. 20-28 Volume21 Vol. 0-3 Volume0 www.pytry3g.com Vol. 10, 15, 30 Volume10 www.pytry3g.com Vol. 11-13, 16 Volume12 www.pytry3g.com Vol. 20-28 Volume21 www.pytry3g.com
回文 解き方 コードの説明 ソースコード 回文 回文 | Aizu Online Judge 解き方 回文をカウントする変数を用意する。文字列が与えられたら、それが対称かどうか確認し回文ならカウントする変数に１を足す。 コードの説明 文字列が回文かどうか確認するにはス…
坪面積の計算 解き方 ソースコード 坪面積の計算 土地面積 | Aizu Online Judge 解き方 受け取った入力 a, bを掛けてから１坪＝3.305785 [m2] で割ると坪面積が求まる。 ソースコード a, b = map(int, input().split()) print((a*b) / 3.305785)
暗証番号 解き方 コードの説明 ソースコード 暗証番号 問題ページ 解き方 与えられた入力は半角英数字、記号、空白を含む文字列になっているので、そこから数字を見つけて取り出す。取り出しかたは色々あると思うが、今回は正規表現を使って数字を取り出して…
PyTorchのTutorialのページにあるIntroduction to PyTorchについて勉強してみました。Tutorialを通して自分が学んだことを書いていきます。 Tutorial Page Introduction to Torch's tensor library Creating Tensors Operations with Tensors Reshaping Tens…
この記事では自然言語処理について自分が勉強したことを書いた記事についてまとめていきます。 単語の切り出し作業 形態素解析 MeCab N-gram 自然言語をベクトルにする Bag of Words TF-IDF Word2Vec GloVe テキスト分類 Cosine Similarity Deep Learning 言…
t-SNEを使った文書ベクトルの可視化をしてみました。可視化にはSeabornの散布図を使います。Seabornはmatplotlibをベースにしたグラフ描画ライブラリで、matplotlibよりも美しく扱いやすいライブラリになっています。 可視化する文書ベクトルはこちらの記事…
N-gramについて勉強したので、そのメモ。 この記事の最後にはpythonで実装したN-Gramを生成するコードを置いておきます。 はじめに N-gram 文字単位のN-gram unigram bigram trigram 単語単位のN-gram unigram bigram trigram 長所と短所 長所 辞書が必要な…
ベクトル間の類似度を計測するひとつの手法にコサイン類似度（Cosine Similarity）というものがあります。 今回はこのscikit-learnで実装されているCosine Similarityを用いて以前収集したツイートに類似しているツイートを見つけてみたいと思います。 関連…
Word2Vecの単語ベクトルから、いい感じな文書ベクトルが作れるSCDVというのを使ってテキスト分類をしてみました。 SCDVって？ 今回やること 今回使うもの 1. データの用意 Wikipediaの記事をダウンロード ツイートの用意 形態素解析 訓練データとテストデー…
JavaでHelloWorldと出力するだけのプログラムを書いてみました。 この記事ではJavaとEclipseをWindowにインストールしHelloWorldを出力するまでをやってみます。 Javaのインストール Eclipseのインストール Eclipseを使ってみる 1. プロジェクトの作成 2. パ…
単語分散表現のひとつGloVeを使ってみました。 この記事では理論については詳しく書きません、numpyを使って実装されているGloVeの使い方について書いていきます。 関連リンク GloVe 使い方 1. ライブラリとかの準備 2. データの用意 3. 単語辞書と共起ペア…
主に情報検索の分野で使われるTF-IDFについて勉強したので、そのメモ。 さらに、scikit-learnで用意されているものを使ってTF-IDFを計算してみます。 環境 関連リンク TF-IDF Term Frequency Inverse Document Frequency Term Frequency - Inverse Document …
この記事ではまとめた記事をまとめていきます。 自然言語処理のまとめ tkinter Web系 JapaneseTextEncoder AOJのまとめ 自然言語処理のまとめ 自分が自然言語処理について勉強したことをまとめています。 www.pytry3g.com tkinter tkinterについてまとめた記…
前回書いた記事の続きです。 www.pytry3g.com 最近mecab-ipadic-NEologdを使えるようにしたので、JapaneseTextEncoderでも使えるようにしてみました。 www.pytry3g.com 変更点 __init__の変更 ソースコード 変更点 今回はNEologdを加えるだけです。 __init__…
1200: Goldbach's Conjecture 1200: Goldbach's Conjecture 解答例
前回書いた記事でWindowsにigraphをインストールすることに成功しました。 www.pytry3g.com 今回は自分で用意したデータ（テキスト）を使って共起関係のグラフ（語と語のつながり）を表示させるところまでやってみます。 環境 関連リンク 方針 データの用意 …
Web上の言語資源から得た新語を追加することでカスタマイズした MeCab 用のシステム辞書のmecab-ipadic-NEologdをWindowsで使えるようにしたので、その過程を書いていきます。 ちなみにUbuntuから利用するのではなくWindowsから直接使えるようにしました。 U…
この記事ではWeb系の技術を使ったアプリケーションを開発するために勉強したことを書いた記事についてまとめていきます。 Flask Electron Electron入門 Pug Pug入門編 Pug文法編 Sass Gulpの導入 Flask Flaskの入門記事。 www.pytry3g.com Electron Electron…
この記事では日本語のテキストコーパスから辞書を作るライブラリJapaneseTextEncoderについての記事をまとめていきます。 環境 その① その② その③ その④ その⑤ その⑥ ソースコード text_encoder.py ソースコード reserved_tokens.py 環境 私の実行環境です。…
この記事は前回書いた記事の続きになります。 www.pytry3g.com 前回JapaneseTextEncoderにいくつかの機能を追加しましたが、JapaneseTextEncoderを使って言語モデルやSeq2Seqを実装をするにあたり改善すべき点がありそうなので、それらについてコードの変更…
2100: Saizo 2100: Saizo 解答例
MeCabにあるキーワードをどうしても正確に形態素解析してほしかったので、自分でカスタマイズした辞書を追加してみました。 環境はWindowsです。MacやLinuxユーザのかたは関連リンクの公式の説明を見れば辞書のカスタマイズはできるんじゃないかと思います。…
ネットワーク分析に使われるigraphをWindowsにインストールしてみました。 igraphはR, PythonとC/C++で使えるようですが、私はもちろんpythonで使いたいのでpython-igraphをインストールしました。MacやLinuxだとpipでインストールできるみたいですがWindows…