動かざることバグの如し

静かに頬を伝う涙が 私に知らせる これが初恋と

python

TensorFlowでTensorBoardを使う MNIST版

環境 Python 3.6 TensorFlow 1.13 今年中にはTensorFlow2.xが出るのだろうか、、、 やりたいこと TensorBoardを試してみたかった。が、Qiitaをかいつまんで実行してもうまくいかない。。。 そこでMNISTの最小のコードを使ってサンプルを作る。 TensorBoardな…

Jetson NanoにTensorFlowとKerasをインストール

Jetson Nanoとは1万円弱で買えるRaspberry Pi大きさ並みのGPU付きシングルボードコンピュータである。 で、GPUがあるということは当然機械学習用なわけで、早速ライブラリのインストールをした 環境 Ubuntu 18.04 CUDA 10 最初から入ってる python 3.6 pyen…

駅メモがエロ路線に走っているのは本当なのか

でんこの露出度がどんどん高くなっていってる説 駅メモという可愛いでんこを愛でる駅を軸にした位置取りゲーがある。 他のソシャゲと比べて、安易なエロ要素が少なく、エロというより萌えという感じだった。しかしながら某SNS界隈では、最近のでんこは変に露…

VoTTでラベル付けしたJSONをAWS SageMaker用に変換する

VoTTとはMSが作った画像系機械学習に使うラベリングをGUIで行えるツール これのおかげでくっそダルくて発狂しそうなラベル付作業が少しだけ楽になる。神ツール が、当然マイクロソフト謹製の機械学習用アプリケーション(CNTK)ように作られているので、ライ…

Pythonで2つの日付からdate rangeを取得する

環境 Python 3 やりたいこと 2つの日付からfor文で日付を回したい場合 rubyでいう require 'date' (Date.parse('2017-12-01')..Date.parse('2018-1-31')).each do |date| puts date.strftime("%F") end 的なのをやりたい コード from datetime import date,…

pandasでMySQLに接続

めも 環境 Python 3.6 インストール pip install mysql-connector-python コード import mysql.connector as mc import pandas.io.sql as pdsql con = mc.connect( user ='USER', password='PW', host='localhost', database='DB') sql = 'SELECT * FROM tab…

Pythonでランダムな文字列を生成する

環境 python3 2マンは帰って、どうぞ 方法 ググるとQiitaが一番上に出るけど見づらくて仕方ない python3ならもう少しきれいに書けるだろ 以下は12文字のランダムな文字列を生成する例 import random import string ''.join(random.choices(string.ascii_up…

Pythonでヒストグラムを生成する

こんなグラフ ヒストグラム自体に「グラフ」の意味があるからヒストグラムのグラフを生成っていうのはおかしいらしい(棒グラフグラフ的な 環境 Python 3.5 pandas コード %matplotlib inline import numpy as np import pandas as pd import matplotlib.pyp…

XGBoostのインストール

めも 公式サイトのドキュメントに全部載ってるので、基本はそれの通りにやれば良い brew install gcc5 pip install xgboost >>> import xgboost as xgb ができればインストール成功 qiita.com

pandasでA column-vector y was passed when a 1d array was expected

環境 Python 3.6 pandas '0.23.0' 症状 適当に model = RandomForestRegressor.fit(x_train, y_train) とかしてると DataConversionWarning: A column-vector y was passed when a 1d array was expected. Please change the shape of y to (n_samples, ), f…

Pyrthon3でエクセルファイルをCSVに変換する

たいてい転がってるサンプルがPython2でキレたので書いた 変換するにはライブラリが必要である。Pythonでエクセルを扱えるメジャーなライブラリは以下 openpyxl pandas xlrd 順に見ていく openpyxl xlsには対応していない。 Openpyxl is a Python library fo…

GAE(flexible environment)にflaskをデプロイする

まずはrequirements.txtを用意 Flask==0.12.2 gunicorn==19.7.1 gunicornはGAE上で使用するwsgiアプリケーション 実際のプログラムがないと始まらない。ってことでmain.py from flask import Flask app = Flask(__name__) @app.route("/") def hello(): retu…

pyenv環境でgcloudをインストールする

環境 Mac Pyenv + anaconda3 gcloudがpython3に対応してない問題 pyenvをわざわざ使っている人の99%はデフォルトのPythonのバージョンは3.xだと思う(anaconda含め) が、残念なことにgcloudコマンドはpython2.xにしか対応していない。結果、pyenvでpython3…

PythonからAWS Pollyを実行するサンプルコード

環境 python 3.6 2だと動かないので注意 コード 予めAWSのIAM管理からpolly用のアクセスキーを取得しておくこと。 import boto3 from contextlib import closing client = boto3.client( 'polly', aws_access_key_id='KEY_ID', aws_secret_access_key='ACCES…

日本語音声合成Open JTalkをPythonから実行する

環境 Python 3.6 コード 以下をjtalk.pyとして保存する #coding: utf-8 import subprocess import tempfile def run(message, voice_path='voice.wav'): speed = 1.0 dic_path = "/usr/local/Cellar/open-jtalk/1.10_1/dic" model_path = "/usr/local/Cellar…

Python3で一時ファイルを作成する

tempfile.NamedTemporaryFileを使う >>> import tempfile >>> f = tempfile.NamedTemporaryFile(mode='w+') >>> f.name '/var/folders/6z/xq_8ddx97hq9hzlgwzjjdjbw0000gn/T/tmpncbwgf4y' >>> f.write('こんにちは') 5 >>> f.seek(0) 0 >>> f.read() 'こんに…

Pythonで文字列からMD5ハッシュを生成する

環境 Python 3.5 やり方 import hashlibする必要がある >>> import hashlib >>> hashlib.md5(b'hello').hexdigest() '5d41402abc4b2a76b9719d911017c592' md5()はバイト列を引数として受けるので、渡す際は文字列の前にbをつけなければならない。 つけないと…

TensorFlowからGPUが認識できているかを2行コードで確認する

GPUのドライバ入れた!CUDAもOK!けどTensorFlowでちゃんと使えてるかわからん!ってときの確認用 環境 Python 3.6.2 Anaconda Ubuntu 方法 from tensorflow.python.client import device_lib device_lib.list_local_devices() を実行してdevice_type:GPUの…

Python(Anaconda)でCythonのインストールにコケる件

環境 Python 3.6 症状 pip install cythonでエラーになる Found existing installation: bleach 2.0.0 Uninstalling bleach-2.0.0: Successfully uninstalled bleach-2.0.0 Found existing installation: Cython 0.26.1 Uninstalling Cython-0.26.1: Excepti…

Jupyter Notebookでサジェストが出るようにする

残念ながらJupyterのデフォルトだと変数や関数のサジェストが出てこない。 でーたさいえんてぃすとの人たちはこんな辛いものを使っているのかと思っていたが、拡張機能をインストールするとできるようになる 拡張機能のインストール Jupyter notebook extens…

Pythonでmake sure the Graphviz executables are on your systems' PATH

環境 Python 3.6 エラーの内容 import mglearn mglearn.plots.plot_animal_tree() ってやると ExecutableNotFound: failed to execute ['dot', '-Tpng', '-O', 'tmp'], make sure the Graphviz executables are on your systems' PATH ってエラーになる。 pi…

Ubuntu 16.04でpip install uwsgiでエラーになる

環境 Ubuntu Server 16.04 Python 3.6.2(anaconda3-4.3.1) pyenv使用 いつものようにpip install uwsgiしたらエラーなってインストールできない。 Processing ./src/uwsgi Installing collected packages: uWSGI Running setup.py install for uWSGI ... err…

Flaskのビューで配列の個数を取得したい

Jinja2はFlaskに使われてるテンプレートエンジン。rubyでいうerb的なものだろうか 書きやすいけどERBとは違って若干癖があるのでメモ 単純にやると {% if len(mylist) == 0 %} > UndefinedError: 'len' is undefined って怒られる。実は{%%}の中はPythonを自…

Flaskでセッションの読み書きをする

Flaskでセッションの読み書きをやってみたメモ。 環境 Python 3.5 Flask 0.12 準備 from flask import Flask, session app = Flask(__name__) app.secret_key = 'hogehoge' @app.route('/') def index(): return 'hello' if __name__ == '__main__': app.run…

Tumblrの全記事URLをAPI+pythonで取得

たまにはPythonでやろうと思った 環境 python 3.x Tumblrのアカウント 準備 まずAPIキーが必要。ここからアプリを適当に登録して「OAuth Consumer Key」というのを控えておく。 コード import requests import sys if len(sys.argv) != 2: print('Usage: ' +…

NGINX UnitでPython+Flaskを動かしてみる

つい先日、NginxがNGINX Unitと呼ばれる新しいアプリケーションをオープンソースとしてリリースした。 www.publickey1.jp これを使うと、PHP、Go、Python、さらにはJava、Node.jsのアプリケーションとNginxの連携が楽になる(らしい ということで実際にpytho…

Jupyter notebookのパスワードを設定する

WEB上でPythonのコードが書けて出力結果もリアルタイムで見れて、さらにその履歴を残し、公開することもできる便利なJupitor Notebook 毎回 jupyter notebook で起動してToken含んだURLからアクセスするものの、次回以降はそんなURL覚えていられるわけもなく…

pythonで配列操作

1〜10までの配列をつくりたい array = list(range(1,10)) >> [1, 2, 3, 4, 5, 6, 7, 8, 9] rubyでいうeachをしたい for num in array: print(num) rubyでいうeach_with_Indexがしたい array = list(range(1,10)) for i,num in enumerate(array): print(i,…

Python3環境でMecabを動かす

環境 python 3 mecab そもそもMecabが入ってなかったら以下でインストールする thr3a.hatenablog.com echo おはよう|mecabで表示されればOK pythonでMecabを使えるように pip install mecab-python3 サンプル # coding: utf-8 import MeCab text = '庭には二…

python3でNo module named sklearnエラー

環境 Python3 こんな感じ ~/python/Random-Forest-Example $python estimation.py Traceback (most recent call last): File "estimation.py", line 2, in <module> from sklearn.ensemble import RandomForestClassifier ImportError: No module named 'sklearn' 解</module>…