ytyng.com

Viewing posts for the category Python

Alpine に Python ライブラリ google-crc32c 1.1.3 以上を入れようとしてエラーが出る場合の解消法

Building wheels for collected packages: google-crc32c
Building wheel for google-crc32c (PEP 517) ... error
ERROR: Command errored out with exit status 1:
command: /usr/bin/python3 /usr/lib/python3.8/site-packages/pep517/_in_process.py build_wheel /tmp/tmpa_qqgxr3
cwd: /tmp/pip-install-i8dfak3j/google-crc32c
Complete output (18 lines):
running bdist_wheel
running build
running build_py
creating build
creating build/lib.linux-x86_64-3.8
creating build/lib.linux-x86_64-3.8/google_crc32c
copying src/google_crc32c/_checksum.py -> build/lib.linux-x86_64-3.8/google_crc32c
copying src/google_crc32c/__config__.py -> build/lib.linux-x86_64-3.8/google_crc32c
copying src/google_crc32c/__init__.py -> build/lib.linux-x86_64-3.8/google_crc32c
copying src/google_crc32c/cext.py -> build/lib.linux-x86_64-3.8/google_crc32c
copying src/google_crc32c/python.py -> build/lib.linux-x86_64-3.8/google_crc32c
running build_ext
building 'google_crc32c._crc32c' extension
creating build/temp.linux-x86_64-3.8
creating build/temp.linux-x86_64-3.8/src
creating build/temp.linux-x86_64-3.8/src/google_crc32c
gcc -Wno-unused-result -Wsign-compare -DNDEBUG -g -fwrapv -O3 -Wall -fomit-frame-pointer -g -fno-semantic-interposition -fomit-frame-pointer -g -fno-semantic-interposition -fomit-frame-pointer -g -fno-semantic-interposition -DTHREAD_STACK_SIZE=0x100000 -fPIC -I/usr/include/python3.8 -c src/google_crc32c/_crc32c.c -o build/temp.linux-x86_64-3.8/src/google_crc32c/_crc32c.o
error: command 'gcc' failed with exit status 1
----------------------------------------
ERROR: Failed building wheel for google-crc32c

となったり

AWS の ElasticSearch を使う時、 Python ElasticSearch で UnsupportedProductError が出場合の解決

elasticsearch.exceptions.UnsupportedProductError: The client noticed that the server is not a supported distribution of Elasticsearch

が出る場合

Python で XML を作って Post する

Python で XML を作って Post する

Puppeteer ( Pyppeteer ) で、エレメントが存在しなくなるまで待つ

Python なので Pyppeteer。 puppeteer のJSでもほぼ同じ感じになるはず

pipenv で、指定したバージョンがインストールされなかった

Pipfileで

Python cryptography がインストールできなくなったら rustup で rust をインストールする

Alpine の Dockerfile 内の Pipenv install が失敗する。

Python(Django) で NameError: name '_mysql' is not defined となる場合 (特にローカル開発中)

今まで動いていた Django プロジェクトを、久しぶりに起動すると

Selenium Webdriver のセッションクッキーを使って requests でファイルをダウンロードする

cookies = {
cookie['name']: cookie['value']
for cookie in driver.get_cookies()
}

response = requests.get(
url,
headers={'User-Agent': self.user_agent},
cookies=cookies)


追記: zipを展開

PythonでBOMつきTSVファイルを読み込む

Amazon からCSV をダウンロードすると、BOMつきTSVのことがある。

UbuntuにSSL CA証明書を追加し、python requests で使う

1. もし、証明書が der 形式なら pem にしておく

Ubuntu 14.04 に Python3.5 をインストールする

ソースからビルドするのが簡単

Django Social Auth で AuthAlreadyAssociated が出る場合

いつも焦るので書いておく

Selenium Firefox で geckodriver.log を出力しない

サーバ上で permission denied になっちゃうことがよくあるので

Django で Shift-JIS の CSV を出力

Python 3, Django 1.9

SSL証明書の有効期限を timedelta で取得

SSL証明書の有効期限を timedelta で取得

プロセスプールを使って並列処理を簡単に書く

今までは、threading.Thread を使ってオレオレスレッドプールなんかを書いてたりしましたが、Pythonに用意されてないはずがないと思って探してみたら multiprosessing.pool.Pool がそれでした。超簡単にプロセスプールが作れる。今までの俺は何だったんだ。

Python 簡易スレッドプール

multiprocessing.pool.Pool 使えばよかった orz

ディスプレイが無い Linux で、Firefox + Selenium を Python 上で起動して自動操作する

Selenium を、ヘッドレス Linux上で、Python から起動する方法です。

python3 で requests ( _ssl )が import できなくなった場合 (mac)

Traceback (most recent call last):
  File "/Applications/Develop/PyCharm.app/helpers/pycharm/django_test_manage.py", line 51, in <module>
    django.setup()
  ...
  File "/usr/local/Cellar/python3/3.4.1/Frameworks/Python.framework/Versions/3.4/lib/python3.4/importlib/__init__.py", line 109, in import_module
    return _bootstrap._gcd_import(name[level:], package, level)
  File "<frozen importlib._bootstrap>", line 2254, in _gcd_import
  File "<frozen importlib._bootstrap>", line 2237, in _find_and_load
  File "<frozen importlib._bootstrap>", line 2226, in _find_and_load_unlocked
  File "<frozen importlib._bootstrap>", line 1200, in _load_unlocked
  File "<frozen importlib._bootstrap>", line 1129, in _exec
  File "<frozen importlib._bootstrap>", line 1471, in exec_module
  File "<frozen importlib._bootstrap>", line 321, in _call_with_frames_removed
  ...
  File "/usr/local/Cellar/python3/3.4.1/Frameworks/Python.framework/Versions/3.4/lib/python3.4/ssl.py", line 97, in <module>
    import _ssl             # if we can't import it, let the error propagate
ImportError: dlopen(/usr/local/Cellar/python3/3.4.1/Frameworks/Python.framework/Versions/3.4/lib/python3.4/lib-dynload/_ssl.so, 2): Symbol not found: _SSLv2_method
  Referenced from: /usr/local/Cellar/python3/3.4.1/Frameworks/Python.framework/Versions/3.4/lib/python3.4/lib-dynload/_ssl.so
  Expected in: /usr/local/opt/openssl/lib/libssl.1.0.0.dylib
 in /usr/local/Cellar/python3/3.4.1/Frameworks/Python.framework/Versions/3.4/lib/python3.4/lib-dynload/_ssl.so

こんなエラーが出るようになった。

docutils の rst ライター (docutils.writers.html4css1) で、リンクを無効にする

設定項目が見つけられなかったので、モンキーパッチでやる

Recent Tweets

  • ytyng

    ytyng @ytyng

    apple developer の、テスト用デバイスのUDIDを1年ごとにチェックして、古い端末を消しちゃうやつ チェックボックスを入れたのを残すのか、消すのかの判断まちがって、全部のUDID消えたわ
    1 year, 2 months ago

  • ytyng

    ytyng @ytyng

    うちの会社 TORICO の 代表が今TV出てます #漫画全巻ドットコム #激レアさんを連れてきた
    1 year, 2 months ago

  • ytyng

    ytyng @ytyng

    Proofpoint にブロックされているIPアドレスからでも icloud など Apple メールアドレスにメール送信されてもブロックされてない…?
    1 year, 3 months ago

Recent Posts

Archive

2021
2020
2019
2018
2017
2016
2015
2014
2013
2012
2011

Categories

Authors

Feeds

RSS / Atom