ytyng.com

Viewing posts for the category Python

Alpine に Python ライブラリ google-crc32c 1.1.3 以上を入れようとしてエラーが出る場合の解消法

Posted by: ytyng Category: Python 3 weeks, 4 days ago

Building wheels for collected packages: google-crc32c
 Building wheel for google-crc32c (PEP 517) ... error
 ERROR: Command errored out with exit status 1:
 command: /usr/bin/python3 /usr/lib/python3.8/site-packages/pep517/_in_process.py build_wheel /tmp/tmpa_qqgxr3
 cwd: /tmp/pip-install-i8dfak3j/google-crc32c
 Complete output (18 lines):
 running bdist_wheel
 running build
 running build_py
 creating build
 creating build/lib.linux-x86_64-3.8
 creating build/lib.linux-x86_64-3.8/google_crc32c
 copying src/google_crc32c/_checksum.py -> build/lib.linux-x86_64-3.8/google_crc32c
 copying src/google_crc32c/__config__.py -> build/lib.linux-x86_64-3.8/google_crc32c
 copying src/google_crc32c/__init__.py -> build/lib.linux-x86_64-3.8/google_crc32c
 copying src/google_crc32c/cext.py -> build/lib.linux-x86_64-3.8/google_crc32c
 copying src/google_crc32c/python.py -> build/lib.linux-x86_64-3.8/google_crc32c
 running build_ext
 building 'google_crc32c._crc32c' extension
 creating build/temp.linux-x86_64-3.8
 creating build/temp.linux-x86_64-3.8/src
 creating build/temp.linux-x86_64-3.8/src/google_crc32c
 gcc -Wno-unused-result -Wsign-compare -DNDEBUG -g -fwrapv -O3 -Wall -fomit-frame-pointer -g -fno-semantic-interposition -fomit-frame-pointer -g -fno-semantic-interposition -fomit-frame-pointer -g -fno-semantic-interposition -DTHREAD_STACK_SIZE=0x100000 -fPIC -I/usr/include/python3.8 -c src/google_crc32c/_crc32c.c -o build/temp.linux-x86_64-3.8/src/google_crc32c/_crc32c.o
 error: command 'gcc' failed with exit status 1
 ----------------------------------------
 ERROR: Failed building wheel for google-crc32c

となったり

AWS の ElasticSearch を使う時、 Python ElasticSearch で UnsupportedProductError が出場合の解決

Posted by: ytyng Category: AWS, Python 1 month, 2 weeks ago

elasticsearch.exceptions.UnsupportedProductError: The client noticed that the server is not a supported distribution of Elasticsearch

が出る場合

Python で XML を作って Post する

Posted by: ytyng Category: Python 1 month, 3 weeks ago

Python で XML を作って Post する

Puppeteer ( Pyppeteer ) で、エレメントが存在しなくなるまで待つ

Posted by: ytyng Category: Python 5 months, 4 weeks ago

Python なので Pyppeteer。 puppeteer のJSでもほぼ同じ感じになるはず

pipenv で、指定したバージョンがインストールされなかった

Posted by: ytyng Category: Python 8 months, 1 week ago

Pipfileで

Python cryptography がインストールできなくなったら rustup で rust をインストールする

Posted by: ytyng Category: Python 9 months, 4 weeks ago

Alpine の Dockerfile 内の Pipenv install が失敗する。

Python(Django) で NameError: name '_mysql' is not defined となる場合 (特にローカル開発中)

Posted by: ytyng Category: Django, MySQL, Python 1 year, 1 month ago

今まで動いていた Django プロジェクトを、久しぶりに起動すると

Selenium Webdriver のセッションクッキーを使って requests でファイルをダウンロードする

Posted by: ytyng Category: Python 3 years, 1 month ago

cookies = {
    cookie['name']: cookie['value']
    for cookie in driver.get_cookies()
}

response = requests.get(
    url,
    headers={'User-Agent': self.user_agent},
    cookies=cookies)

追記: zipを展開

PythonでBOMつきTSVファイルを読み込む

Posted by: ytyng Category: Python 3 years, 5 months ago

Amazon からCSV をダウンロードすると、BOMつきTSVのことがある。

UbuntuにSSL CA証明書を追加し、python requests で使う

Posted by: ytyng Category: Python 3 years, 5 months ago

1. もし、証明書が der 形式なら pem にしておく

Ubuntu 14.04 に Python3.5 をインストールする

Posted by: ytyng Category: Python 3 years, 9 months ago

ソースからビルドするのが簡単

Django Social Auth で AuthAlreadyAssociated が出る場合

Posted by: ytyng Category: Django, Python 4 years, 3 months ago

いつも焦るので書いておく

Selenium Firefox で geckodriver.log を出力しない

Posted by: ytyng Category: Python 4 years, 10 months ago

サーバ上で permission denied になっちゃうことがよくあるので

Django で Shift-JIS の CSV を出力

Posted by: ytyng Category: Django, Python 5 years, 5 months ago

Python 3, Django 1.9

SSL証明書の有効期限を timedelta で取得

Posted by: ytyng Category: Python 6 years ago

プロセスプールを使って並列処理を簡単に書く

Posted by: ytyng Category: Python 6 years, 1 month ago

Python 簡易スレッドプール

Posted by: ytyng Category: Python 6 years, 1 month ago

ディスプレイが無い Linux で、Firefox + Selenium を Python 上で起動して自動操作する

Posted by: ytyng Category: Python 6 years, 3 months ago

python3 で requests ( _ssl )が import できなくなった場合 (mac)

Posted by: ytyng Category: Python 6 years, 5 months ago

Traceback (most recent call last):
  File "/Applications/Develop/PyCharm.app/helpers/pycharm/django_test_manage.py", line 51, in <module>
    django.setup()
  ...
  File "/usr/local/Cellar/python3/3.4.1/Frameworks/Python.framework/Versions/3.4/lib/python3.4/importlib/__init__.py", line 109, in import_module
    return _bootstrap._gcd_import(name[level:], package, level)
  File "<frozen importlib._bootstrap>", line 2254, in _gcd_import
  File "<frozen importlib._bootstrap>", line 2237, in _find_and_load
  File "<frozen importlib._bootstrap>", line 2226, in _find_and_load_unlocked
  File "<frozen importlib._bootstrap>", line 1200, in _load_unlocked
  File "<frozen importlib._bootstrap>", line 1129, in _exec
  File "<frozen importlib._bootstrap>", line 1471, in exec_module
  File "<frozen importlib._bootstrap>", line 321, in _call_with_frames_removed
  ...
  File "/usr/local/Cellar/python3/3.4.1/Frameworks/Python.framework/Versions/3.4/lib/python3.4/ssl.py", line 97, in <module>
    import _ssl             # if we can't import it, let the error propagate
ImportError: dlopen(/usr/local/Cellar/python3/3.4.1/Frameworks/Python.framework/Versions/3.4/lib/python3.4/lib-dynload/_ssl.so, 2): Symbol not found: _SSLv2_method
  Referenced from: /usr/local/Cellar/python3/3.4.1/Frameworks/Python.framework/Versions/3.4/lib/python3.4/lib-dynload/_ssl.so
  Expected in: /usr/local/opt/openssl/lib/libssl.1.0.0.dylib
 in /usr/local/Cellar/python3/3.4.1/Frameworks/Python.framework/Versions/3.4/lib/python3.4/lib-dynload/_ssl.so

docutils の rst ライター (docutils.writers.html4css1) で、リンクを無効にする

Posted by: ytyng Category: Python 6 years, 9 months ago

設定項目が見つけられなかったので、モンキーパッチでやる