개발/TIL7 TIL : python 병렬처리 라이브러리 Ray 사용하기 26만개의 데이터를 처리해야하다 보니 serial python으로는 9시간이 족히 걸리는 작업을 해야했다. 이에 multiprocess를 쓰려다가 검색을 하다 발견한 Ray 라는 라이브러리! uc버클리에서 만든 것으로 특정 조건에서 multiprocessing보다 9배, 싱글쓰레드보다 28배가 빠르다고 한다.!!!! https://zzsza.github.io/mlops/2021/01/03/python-ray/ Python Ray 사용법 - Python 병렬처리, 분산처리 파이썬 병렬처리를 위한 Python Ray 사용법에 대한 글입니다 키워드 : Python Ray for multiprocessing, Python Parallel, Distributed Computing, Python Ray Core, .. 2021. 1. 29. TIL : nvidia-smi Failed to initialize NVML 에러 어느날 nvidia-smi로 gpu를 확인해보려는데 다음과 같은 에러가 떴다. "Failed to initialize NVML: Driver/library version mismatch" 찾아보니 드라이버가 업데이트되면서 버전이 맞지 않아 발생하는 문제라고 한다. "lsmod | grep nvidia" 를 쳐보니 다음과 같이 nvidia driver kernel module이 나온다. 이 커널들을 언로딩하고 다시 로딩하면 된다. sudo rmmod nvidia_drm sudo rmmod nvidia_modeset sudo rmmod nvidia_uvm sudo rmmod nvidia ** 이 때, 언로딩시 이미 사용중이라는 메세지가 나타난다면, (Module *** is in use) 프로세스를 kill.. 2021. 1. 15. TIL : elasticsearch, kibana 보안 설정하기 elasticsearch 보안 설정 /usr/share/elasticsearch/bin에 있는 elasticsearch-setup-passwords 실행 👉🏻 cd /usr/share/elasticsearch 👉🏻 ./bin/elasticsearch-setup-passwords interactive) 👉🏻 sudo systemctl start elasticsearch.service (elasticsearch 실행) 💢 실행 시 다음과 같은 에러가 뜬다면, Transport SSL must be enabled if security is enabled on a [basic] license. Please set [xpack.security.transport.ssl.enabled] to [true] or dis.. 2021. 1. 6. TIL : elasticsearch 오류 해결 1. kibana 재설치 Kibana에서 status를 보니 다음과 같은 로그가 찍힘 ● kibana.service - Kibana Loaded: loaded (/etc/systemd/system/kibana.service; enabled; vendor preset: enabled) Active: failed (Result: exit-code) since Tue 2021-01-05 11:36:08 KST; 1min 15s ago Process: 7276 ExecStart=/usr/share/kibana/bin/kibana (code=exited, status=1/FAILURE) Main PID: 7276 (code=exited, status=1/FAILURE) 1월 05 11:36:08 freew sys.. 2021. 1. 5. 이전 1 2 다음 728x90
