데알못정을

정말 미치겠고 미치겠다. 데이터프레임의 크기도 줄여보고 구글링해서 하라는거 다 해봤는데 안되서 정말 쩔쩔 맸다. 데이터셋의 크기가 2백만개가 넘어 매우 컸기 때문에 데이터프레임의 값을 열로 변형하는 pivot trasform은 부하가 많이 컸다. 그러던 중 데이터프레임을 여러개로 분할하여 따로따로 pivot을 시도해보면 어떨까라는 생각에 나는 노가다를 하기 시작했다. 근데 이렇게 해도 메모리 에러가 발생했다. 진짜 죽고싶었다. 그러던 중 read_csv에 chunksize라는 인자가 있다는 것을 알게되었다. 데이터프레임에서 원하는 컬럼만 불러올 수 있듯이, 데이터셋의 샘플을 특정 몇개로 쪼개서(chunk) 불러와 모아두는 하나의 생성자(generator)를 만들 수 있다. 코드는 다음과 같다. impor..

최근 연구실을 옮기면서 새로운 환경에서 작업을 하게되었는데, 딥러닝 학습 환경을 만들기 위해 새로운 가상환경을 만들어야 했다. 절차가 그리 까다롭지 않아서 외우고 있었는데 사람인지라 까먹게되서 그냥 여기다 정리하고 필요할 때 마다 보려고 정리한다. 가상환경 관련 명령어는 다음과 같다. 아나콘다 명령 프롬프트를 열어 사용할 수 있다. # 가상환경 목록 확인 conda info --envs # 가상환경 삭제 conda remove -n 가상환경이름 --all # 가상환경 복사 conda create -n 새로운 가상환경 이름 --clone 복제 할 가상환경 # 가상환경 활성화 conda activate 가상환경 이름 # 가상환경 내의 패키지 확인 conda list # 가상환경 내에 패키지 설치 conda ..