python
概要 どういうわけか、CPUが多いサーバーだと学習に時間がかかるんじゃないかという話があった。そんなことないやろと思いつつ、公平にAWSでベンチマークを撮ってみたが、やはりCPU数が多ければ多いほど遅くなってしまう。。 検証環境 AWS p3.2xlargeインス…
環境 Python 3.6 TensorFlow 1.13 今年中にはTensorFlow2.xが出るのだろうか、、、 やりたいこと TensorBoardを試してみたかった。が、Qiitaをかいつまんで実行してもうまくいかない。。。 そこでMNISTの最小のコードを使ってサンプルを作る。 TensorBoardな…
Jetson Nanoとは１万円弱で買えるRaspberry Pi大きさ並みのGPU付きシングルボードコンピュータである。 で、GPUがあるということは当然機械学習用なわけで、早速ライブラリのインストールをした 環境 Ubuntu 18.04 CUDA 10 最初から入ってる python 3.6 pyen…
でんこの露出度がどんどん高くなっていってる説 駅メモという可愛いでんこを愛でる駅を軸にした位置取りゲーがある。 他のソシャゲと比べて、安易なエロ要素が少なく、エロというより萌えという感じだった。しかしながら某SNS界隈では、最近のでんこは変に露…
VoTTとはMSが作った画像系機械学習に使うラベリングをGUIで行えるツール これのおかげでくっそダルくて発狂しそうなラベル付作業が少しだけ楽になる。神ツール が、当然マイクロソフト謹製の機械学習用アプリケーション（CNTK）ように作られているので、ライ…
環境 Python 3 やりたいこと ２つの日付からfor文で日付を回したい場合 rubyでいう require 'date' (Date.parse('2017-12-01')..Date.parse('2018-1-31')).each do |date| puts date.strftime("%F") end 的なのをやりたい コード from datetime import date,…
めも 環境 Python 3.6 インストール pip install mysql-connector-python コード import mysql.connector as mc import pandas.io.sql as pdsql con = mc.connect( user ='USER', password='PW', host='localhost', database='DB') sql = 'SELECT * FROM tab…
環境 python3 2マンは帰って、どうぞ 方法 ググるとQiitaが一番上に出るけど見づらくて仕方ない python3ならもう少しきれいに書けるだろ 以下は１２文字のランダムな文字列を生成する例 import random import string ''.join(random.choices(string.ascii_up…
こんなグラフ ヒストグラム自体に「グラフ」の意味があるからヒストグラムのグラフを生成っていうのはおかしいらしい（棒グラフグラフ的な 環境 Python 3.5 pandas コード %matplotlib inline import numpy as np import pandas as pd import matplotlib.pyp…
めも 公式サイトのドキュメントに全部載ってるので、基本はそれの通りにやれば良い brew install gcc5 pip install xgboost >>> import xgboost as xgb ができればインストール成功 qiita.com
環境 Python 3.6 pandas '0.23.0' 症状 適当に model = RandomForestRegressor.fit(x_train, y_train) とかしてると DataConversionWarning: A column-vector y was passed when a 1d array was expected. Please change the shape of y to (n_samples, ), f…
たいてい転がってるサンプルがPython2でキレたので書いた 変換するにはライブラリが必要である。Pythonでエクセルを扱えるメジャーなライブラリは以下 openpyxl pandas xlrd 順に見ていく openpyxl xlsには対応していない。 Openpyxl is a Python library fo…
まずはrequirements.txtを用意 Flask==0.12.2 gunicorn==19.7.1 gunicornはGAE上で使用するwsgiアプリケーション 実際のプログラムがないと始まらない。ってことでmain.py from flask import Flask app = Flask(__name__) @app.route("/") def hello(): retu…
環境 Mac Pyenv + anaconda3 gcloudがpython3に対応してない問題 pyenvをわざわざ使っている人の99%はデフォルトのPythonのバージョンは3.xだと思う（anaconda含め） が、残念なことにgcloudコマンドはpython2.xにしか対応していない。結果、pyenvでpython3…
環境 python 3.6 2だと動かないので注意 コード 予めAWSのIAM管理からpolly用のアクセスキーを取得しておくこと。 import boto3 from contextlib import closing client = boto3.client( 'polly', aws_access_key_id='KEY_ID', aws_secret_access_key='ACCES…
環境 Python 3.6 コード 以下をjtalk.pyとして保存する #coding: utf-8 import subprocess import tempfile def run(message, voice_path='voice.wav'): speed = 1.0 dic_path = "/usr/local/Cellar/open-jtalk/1.10_1/dic" model_path = "/usr/local/Cellar…
tempfile.NamedTemporaryFileを使う >>> import tempfile >>> f = tempfile.NamedTemporaryFile(mode='w+') >>> f.name '/var/folders/6z/xq_8ddx97hq9hzlgwzjjdjbw0000gn/T/tmpncbwgf4y' >>> f.write('こんにちは') 5 >>> f.seek(0) 0 >>> f.read() 'こんに…
環境 Python 3.5 やり方 import hashlibする必要がある >>> import hashlib >>> hashlib.md5(b'hello').hexdigest() '5d41402abc4b2a76b9719d911017c592' md5()はバイト列を引数として受けるので、渡す際は文字列の前にbをつけなければならない。 つけないと…
GPUのドライバ入れた！CUDAもOK！けどTensorFlowでちゃんと使えてるかわからん！ってときの確認用 環境 Python 3.6.2 Anaconda Ubuntu 方法 from tensorflow.python.client import device_lib device_lib.list_local_devices() を実行してdevice_type:GPUの…
環境 Python 3.6 症状 pip install cythonでエラーになる Found existing installation: bleach 2.0.0 Uninstalling bleach-2.0.0: Successfully uninstalled bleach-2.0.0 Found existing installation: Cython 0.26.1 Uninstalling Cython-0.26.1: Excepti…
残念ながらJupyterのデフォルトだと変数や関数のサジェストが出てこない。 でーたさいえんてぃすとの人たちはこんな辛いものを使っているのかと思っていたが、拡張機能をインストールするとできるようになる 拡張機能のインストール Jupyter notebook extens…
環境 Python 3.6 エラーの内容 import mglearn mglearn.plots.plot_animal_tree() ってやると ExecutableNotFound: failed to execute ['dot', '-Tpng', '-O', 'tmp'], make sure the Graphviz executables are on your systems' PATH ってエラーになる。 pi…
環境 Ubuntu Server 16.04 Python 3.6.2(anaconda3-4.3.1) pyenv使用 いつものようにpip install uwsgiしたらエラーなってインストールできない。 Processing ./src/uwsgi Installing collected packages: uWSGI Running setup.py install for uWSGI ... err…
Jinja2はFlaskに使われてるテンプレートエンジン。rubyでいうerb的なものだろうか 書きやすいけどERBとは違って若干癖があるのでメモ 単純にやると {% if len(mylist) == 0 %} > UndefinedError: 'len' is undefined って怒られる。実は{%%}の中はPythonを自…
Flaskでセッションの読み書きをやってみたメモ。 環境 Python 3.5 Flask 0.12 準備 from flask import Flask, session app = Flask(__name__) app.secret_key = 'hogehoge' @app.route('/') def index(): return 'hello' if __name__ == '__main__': app.run…
たまにはPythonでやろうと思った 環境 python 3.x Tumblrのアカウント 準備 まずAPIキーが必要。ここからアプリを適当に登録して「OAuth Consumer Key」というのを控えておく。 コード import requests import sys if len(sys.argv) != 2: print('Usage: ' +…
つい先日、NginxがNGINX Unitと呼ばれる新しいアプリケーションをオープンソースとしてリリースした。 www.publickey1.jp これを使うと、PHP、Go、Python、さらにはJava、Node.jsのアプリケーションとNginxの連携が楽になる（らしい ということで実際にpytho…
WEB上でPythonのコードが書けて出力結果もリアルタイムで見れて、さらにその履歴を残し、公開することもできる便利なJupitor Notebook 毎回 jupyter notebook で起動してToken含んだURLからアクセスするものの、次回以降はそんなURL覚えていられるわけもなく…
１〜１０までの配列をつくりたい array = list(range(1,10)) >> [1, 2, 3, 4, 5, 6, 7, 8, 9] rubyでいうeachをしたい for num in array: print(num) rubyでいうeach_with_Indexがしたい array = list(range(1,10)) for i,num in enumerate(array): print(i,…
環境 python 3 mecab そもそもMecabが入ってなかったら以下でインストールする thr3a.hatenablog.com echo おはよう|mecabで表示されればOK pythonでMecabを使えるように pip install mecab-python3 サンプル # coding: utf-8 import MeCab text = '庭には二…