NEologdの公式ページによると、 github.com Web上の文書の解析をする際には、NEologdと標準のシステム辞書（ipadic）を併用するのが良いらしいので、システム辞書にNEologdを追加したものを作り、実際に使ってみました。 環境 Windows & Ubuntuでのやり方 1.…
2018年がもうすぐ終わる。 あっという間の一年だったな。 去年の大晦日は年越しそばを作ったけど、 今年はカップ麺で済ませた。マルちゃんの紺のきつね。けっこううまかった。 今日で最終日だったけど、本当にあっという間の7年間だった。 辛いけど前を向い…
VSCode(Visual Studio Code)を使い始めたので、インストール方法と便利な拡張機能についてまとめていく予定。 インストール 使い方 ファイルの作成から実行 拡張機能 vscodevim Ctrl - jを<ESC>に割り当てる Ctrl - OとCtrl - Nについて VSCode内のTerminalとEdit</esc>…
今日でブログ開設から１年が経つので、とりあえず適当に書いてみる。 そもそもこのブログを開設したのはたぶんいつもの勢いで軽いノリで作ってしまったから。 何を書くのか具体的に特に決めていなかったかな。 というか、ここまで続けることができると思って…
この記事ではTeXworksの使い方やつまずいたところについてまとめていく予定です。 使い方 コメントアウト １行の場合 複数行 エラーが出た ! LaTeX Error: Cannot determine size of graphic in ファイル (no Bounding Box) 使い方 コメントアウト １行の場…
PyTorchを使ってSeq2seqの実装をしてみたので、その実装方法について書いてみます。学習に用いるデータセットには実装したSeq2seqが正しく学習できているか簡単に評価できる、トイ・プロブレム（足し算）を使っています。 Google Colaboratoryで動作確認をし…
長年？PyTorchによる自然言語処理の実装方法がなんとなく分かっているようで分かっていない状態の私でしたが、、、 最近やっと実装方法が分かったので、でもやっぱり分かっていないので、本当に理解できているのかの確認の意味を込めて言語モデルの実装方法…
前回書いた記事の続きです。 www.pytry3g.com 変更点 MeCabの対策 paddingについて __init__の変更 encode()の変更 関連記事 ソースコード 変更点 mecabを使って形態素解析をする際にエラーが出る場合があるので、それの対策とpaddingについて少し変更する。…
Google Colaboratory上でGoogle Driveにあるプログラムやテキストファイルを読み込む方法について書いてみます。 参考リンク マウントする Google Drive内のテキストファイルを読み込む 関連記事 参考リンク 下のリンクにあるMounting Google Drive locally…
参加者数 解き方 コードの説明 ソースコード 参加者数 The Number of Participants | Aizu Online Judge 解き方 各部門の参加者を足すだけ。 コードの説明 入力を空白区切りで分割してリストにする。mapを使いリストの要素を整数に変換してからsum()で要素を…
じゃんけん 解き方 ソースコード コードの補足 じゃんけん Rock, Paper, Scissors | Aizu Online Judge 解き方 ５人のじゃんけんの手を入力順にリストに入れる。今回は勝敗の出力は引き分けと勝ち負けの２通りに分けて考えています。 はじめにじゃんけんの結…
英語の文章 解き方 コードの説明 ソースコード 別解 関連リンク 英語の文章 問題ページ 解き方 与えられた文字列を単語に分割し、最も出現頻度が高い単語と、最も文字数が多い単語を見つける。 コードの説明 出現頻度はcollectionsのCounter、文字数について…
Vol. 0-3 Volume0 Vol. 10, 15, 30 Volume10 Vol. 11-13, 16 Volume12 Vol. 20-28 Volume21 Vol. 0-3 Volume0 www.pytry3g.com Vol. 10, 15, 30 Volume10 www.pytry3g.com Vol. 11-13, 16 Volume12 www.pytry3g.com Vol. 20-28 Volume21 www.pytry3g.com
回文 解き方 コードの説明 ソースコード 回文 回文 | Aizu Online Judge 解き方 回文をカウントする変数を用意する。文字列が与えられたら、それが対称かどうか確認し回文ならカウントする変数に１を足す。 コードの説明 文字列が回文かどうか確認するにはス…
坪面積の計算 解き方 ソースコード 坪面積の計算 土地面積 | Aizu Online Judge 解き方 受け取った入力 a, bを掛けてから１坪＝3.305785 [m2] で割ると坪面積が求まる。 ソースコード a, b = map(int, input().split()) print((a*b) / 3.305785)
暗証番号 解き方 コードの説明 ソースコード 暗証番号 問題ページ 解き方 与えられた入力は半角英数字、記号、空白を含む文字列になっているので、そこから数字を見つけて取り出す。取り出しかたは色々あると思うが、今回は正規表現を使って数字を取り出して…
PyTorchのTutorialのページにあるIntroduction to PyTorchについて勉強してみました。Tutorialを通して自分が学んだことを書いていきます。 Tutorial Page Introduction to Torch's tensor library Creating Tensors Operations with Tensors Reshaping Tens…
この記事では自然言語処理について自分が勉強したことを書いた記事についてまとめていきます。 単語の切り出し作業 形態素解析 MeCab N-gram 自然言語をベクトルにする Bag of Words TF-IDF Word2Vec GloVe テキスト分類 Cosine Similarity Sparse Composite…
t-SNEを使った文書ベクトルの可視化をしてみました。可視化にはSeabornの散布図を使います。Seabornはmatplotlibをベースにしたグラフ描画ライブラリで、matplotlibよりも美しく扱いやすいライブラリになっています。 可視化する文書ベクトルはこちらの記事…
N-gramについて勉強したので、そのメモ。 この記事の最後にはpythonで実装したN-Gramを生成するコードを置いておきます。 はじめに N-gram 文字単位のN-gram unigram bigram trigram 単語単位のN-gram unigram bigram trigram 長所と短所 長所 辞書が必要な…
ベクトル間の類似度を計測するひとつの手法にコサイン類似度（Cosine Similarity）というものがあります。 今回はこのscikit-learnで実装されているCosine Similarityを用いて以前収集したツイートに類似しているツイートを見つけてみたいと思います。 関連…
Word2Vecの単語ベクトルから、いい感じな文書ベクトルが作れるSCDVというのを使ってテキスト分類をしてみました。 SCDVって？ 今回やること 今回使うもの 1. データの用意 Wikipediaの記事をダウンロード ツイートの用意 形態素解析 訓練データとテストデー…
JavaでHelloWorldと出力するだけのプログラムを書いてみました。 この記事ではJavaとEclipseをWindowにインストールしHelloWorldを出力するまでをやってみます。 Javaのインストール Eclipseのインストール Eclipseを使ってみる 1. プロジェクトの作成 2. パ…
単語分散表現のひとつGloVeを使ってみました。 この記事では理論については詳しく書きません、numpyを使って実装されているGloVeの使い方について書いていきます。 関連リンク GloVe 使い方 1. ライブラリとかの準備 2. データの用意 3. 単語辞書と共起ペア…
主に情報検索の分野で使われるTF-IDFについて勉強したので、そのメモ。 さらに、scikit-learnで用意されているものを使ってTF-IDFを計算してみます。 環境 関連リンク TF-IDF Term Frequency Inverse Document Frequency Term Frequency - Inverse Document …
この記事ではまとめた記事をまとめていきます。 自然言語処理のまとめ tkinter Web系 JapaneseTextEncoder AOJのまとめ 自然言語処理のまとめ 自分が自然言語処理について勉強したことをまとめています。 www.pytry3g.com tkinter tkinterについてまとめた記…
前回書いた記事の続きです。 www.pytry3g.com 最近mecab-ipadic-NEologdを使えるようにしたので、JapaneseTextEncoderでも使えるようにしてみました。 www.pytry3g.com 変更点 __init__の変更 ソースコード 変更点 今回はNEologdを加えるだけです。 __init__…
1200: Goldbach's Conjecture 1200: Goldbach's Conjecture 解答例
前回書いた記事でWindowsにigraphをインストールすることに成功しました。 www.pytry3g.com 今回は自分で用意したデータ（テキスト）を使って共起関係のグラフ（語と語のつながり）を表示させるところまでやってみます。 環境 関連リンク 方針 データの用意 …
Web上の言語資源から得た新語を追加することでカスタマイズした MeCab 用のシステム辞書のmecab-ipadic-NEologdをWindowsで使えるようにしたので、その過程を書いていきます。 ちなみにUbuntuから利用するのではなくWindowsから直接使えるようにしました。 U…