jupyter lab 은 괄호 자동완성이 기본지원하지 않는다.(docker 에 옮기기전에 conda 환경에서는 자동으로 지원했던 것 같은데 docker 로 옮기고 나서 자동설정이 안되는 것 같은데 정확한 원인은 못찾았다.) vscode 와 xcode 로 코딩을 하던 나에게 이건 너무 큰 시련이였기에 방법을 찾아서 이 글을 남긴다. 1. 위쪽 메뉴바에 Setting > Advanced Setting Editor 으로 setting editor 접근 2. search 에 notebook 검색, Auto Closing Brackets 선택 위의 auto closing bracket 은 code cell, md, raw cell 로 나뉘어 있다. 필자는 모두 auto closing 을 선택했다. + 여러 블로그..
python 에서 엑셀파일을 다루는 툴은 많지만 나는 deeplearning 데이터처리를 위해 쓰는 것이므로 pandas 를 쓰기로 했다. 예시로 들 엑셀은 아래와 같다. name age gender grade score james 22 men 2 88 amy 25 women 4 67 edward 24 men 3 89 1. 엑셀 읽기 import pandas as pd df = pd.read_excel([엑셀파일경로(이름)], sheet_name = [시트이름]) df = pd.read_excel('./data/excel/score1.xlsx') # sheet_name 이 없을 경우 제일 첫 시트저장됨 위의 df 는 DataFrame 형태로 저장된다. 2. 특정 데이터 접근하기 df['칼럼명'] # 열에..
2023년 1학기에 도전학기제로 이전 2022년 2학기에 진행했던 online judge system 에서 code 유사도를 검사하는 시스템을 더 얹어보기로 했다. 이 포스팅은 코드 유사도 검사 시스템 구현을 위한 자료들을 정리하고 찾기 위한 키워드들을 위해 정리한다. 1. Binary Code Similarity Analysis BCSA 로 줄여 말하기도 하며 특정 프로그래밍 언어나 시스템에 국한되지 않고 바이너리 데이터 자체를 분석하여 malware detetion, 패치 분석등에 응용될 수 있다. 밑의 링크는 이 BCSA 에 관한 survey 로 여러가지 사례와 논문을 소개한다. 논문 링크 : https://dl.acm.org/doi/10.1145/3446371 A Survey of Binary C..
pyannot-audio 를 사용해 보면서 생기는 의문점들에 대해 정리하는 곳이다. 1. overlap은 따로 플래그가 존재하지 않는 것 같다. diarization.for_json() 에서 나오는 track 이라는 플래그는 화자를 구분하기 위한 플래그 인 듯 하다. diarization.for_json() {'pyannote': 'Annotation', 'content': [{'segment': {'start': 10.9603125, 'end': 21.1021875}, 'track': 'A', 'label': 'SPEAKER_00'}, {'segment': {'start': 31.665937500000002, 'end': 37.690312500000005}, 'track': 'B', 'label': '..
파이썬에는 Dictionary 라는 자료형이 있는데 이는 JSON 과 유사한 형태를 가지고 있다. 프로그래밍을 하다보면 dict to json 으로 변환 후 json 파일 자체를 저장해야 하는 경우가 많다. 위의 경우를 매번 찾아서 쓰기 귀찮아서 정리한다. 1. dict to json import json dict = { "segmentInfo" : segDict, "timeInfo" : { "totalWavLength" : 255343, "totalSegCnt" : 223, "totalSegTime" : 253432, "totalBlankLength" : 334, "segmentCnt" : len(segDict) } } with open('[폴더경로]/[json파일명].json','..
이번에 과제를 진행하면서 2명이 주고받는 대화를 녹음한 mp3 파일에서 2명의 화자를 구분해 내는 것을 해야 했다. 이를 speaker dirazation 이라고 하는데 이와 관련한 코드인 pyannote-audio 를 써 보았다. OS : Ubuntu 20.04 안의 Docker Ubuntu20.04 (Ubuntu image : 11.6.1-cudnn8-devel-ubuntu20.04) 1. 환경 구축 이 모델을 돌리는데 gpu 로 돌리는 것을 추천한다. gpu 설정이나 cuda, cuDNN 설치를 로컬환경에서 할수도 있지만 나는 docker 를 설치 후 관련한 이미지를 사용하였다. https://jeahun10717.tistory.com/42 https://jeahun10717.tistory.com/..
10월 말쯤 교수님께서 ETRI 동계인턴 모집한다고 한 번 지원해 보라고 하셔서 지원서를 작성하게 되었다. 예전에 해커톤에서 대상을 받은 적이 있었는데 그 쪽 분야와 겹치는 분야가 있길래 그 쪽 분야를 더 공부해보고 싶은 마음에 복합지능 연구실에 지원하게 되었다. 다른 사람들은 ETRI 를 어떻게 생각할지는 모르겠지만 연구자가 되고 싶은 나에게는 최고의 기업이였다. 그래서 사실 큰 기대를 안했는데 붙게 되었다. 밑의 글에서는 자소서를 어떻게 썼는지와 1주차, 2주차를 거치면서 어떤 업무를 했는지 대략만 써 보려고 한다. 1. 자소서 동계 인턴 같은 경우 자소서만 보고 따로 면접이나 다른 평가기준이 없어서 오히려 편했던 것 같다. 문항은 총 5가지였다. 자소서는 총 5가지 문항인데 나는 직무연관성을 강조하..
인턴 활동중 딥러닝 pretrain model 이나 모델 학습에서 회사에서 제공해 준 노트북의 VRAM 이 부족하여 서버를 하나 대여받게 되었다. 다른 분들도 이용하는 서버였기에 Docker 를 얹어서 그 안에 jupyter lab 을 깔고 그 jupyter lab 을 내 노트북과 연결하여 사용하기로 하였다. 환경 : 1. 노트북 : win11, 64bit, rtx3050 4GByte 2. 서버 : ubuntu20.04 1. mobaxterm 설치 이거는 어렵지 않고 관련 자료도 많아서 내가 참조한 블로그 링크를 남긴다 https://securityspecialist.tistory.com/141 2. Ubuntu 에서 Docker 설치 및 컨테이너 생성 2.1. ubuntu docker 설치 이 부분은 ..
1. Docker 이미지 가져오기 # docker pull $ docker pull [이미지이름]:[이미지태그] # example $ docker pull ubuntu:lunar-20221216 2. Docker Run # Docker run $ docker container run [옵션1] [옵션2] ... [옵션N] # example $ docker container run -it -d -p 55520:8888 --name sjhUbuntu d5447fc01ae6 /bin/bash Docker run 의 경우 옵션에서 여러가지 설정을 할 수 있는데 아래 설명과 링크를 참고하라. -i, --interactive 표준 입력(stdin)을 활성화하며, 컨테이너와 연결(attach)되어 있지 않더라도 표준..
지금 쓰는 컴퓨터가 VRAM 이 너무 작아서 딥러닝 작업이 불가능했는데 회사에서 서버를 제공해 줘서 Docker 를 설치하게 되었다. 원래도 외주를 하거나 학교에서 공동작업을 할 때는 Docker 를 썼지만 설치나 설정이 귀찮아서 정리를 안하다가 이번에 정리를 하게 되었다. 환경 : Ubuntu 20.04, 64bit OS 1. 사전 패키지 설치 $ sudo apt update $ sudo apt-get install -y ca-certificates \ curl \ software-properties-common \ apt-transport-https \ gnupg \ lsb-release 2. GPG 키 저장소 및 다운 $ sudo mkdir -p /etc/apt/keyrings $ curl -fsS..
