ubuntu 에서 jupyter server 를 열어 jupyter lab 에서 딥러닝 관련 작업을 하고 있는데 jupyter lab 에서는 폴더 다운로드가 불가능했다. 이에 zip 파일로 압축해서 다운로드 해야하는 상황이 많아 zip / unzip 명령어를 정리를 한다. 설치 sudo apt update sudo apt install zip ZIP 하위 디렉터리 압축 하위 디렉터리를 포함하는 압축 옵션인 -r 을 사용해서 compressed.zip 파일에 /path/to/dir 내용을 압축한다 zip -r compressed.zip /path/to/dir 여러 소스 압축 dir1, dir2, file3 세 개의 소스를 압축한다 zip -r compressed.zip /path/to/dir1 /path/..
1. 배열 요소추가 배열에서 단일한 요소를 추가할 때는 append 를 사용 여러개의 요소를 한꺼번에 추가하려면 extend 를 사용 In [16]: a = [] In [17]: a.append(1) a.append([2,3]) In [18]: a Out[18]: [1, [2, 3]] In [23]: b = [] In [24]: b.append(2) b.extend([6, 100]) In [25]: b Out[25]: [2, 6, 100] In [ ]:
1. python 입력 1.1. input() 기본적인 입력방식이며 input() 함수는 str 로 입력을 받는다 str1 = input() num1 = int(input()) 1.2. input.split() split 은 구분자를 통해 문장을 나눠서 입력 받고 이를 배열 형태로 저장한다. default 구분자는 공백 (' ') 이다. str1 = input().split() 1.3. map([자료형], input().split()) map 은 입력을 받아서 split 한후 spread 형태로 변수에 값을 할당한다. 주의할점은 입력받는 변수의 개수가 내가 직접 지정한 변수의 개수와 일치하여야 한다. 그렇지 않으면 아래 이미지 밑쪽의 에러가 나온다 a, b, c = map(int, input().spli..
pyannote-audio 를 이용한 diarization 을 진행하는 과정에서 wav 파일을 다루기 위해 pydub 를 공부한 내용을 정리한다. 1. 설치 pip install pydub 2. 기본사용법 from pydub import AudioSegment # Open file song = AudioSegment.from_mp3('song.mp3') # Slice audio # pydub는 milliseconds 단위를 사용한다 ten_seconds = 10 * 1000 one_min = ten_seconds * 6 first_10_seconds = song[:ten_seconds] last_5_seconds = song[-5000:] # up/down volumn beginning = first_1..
jupyter lab 은 괄호 자동완성이 기본지원하지 않는다.(docker 에 옮기기전에 conda 환경에서는 자동으로 지원했던 것 같은데 docker 로 옮기고 나서 자동설정이 안되는 것 같은데 정확한 원인은 못찾았다.) vscode 와 xcode 로 코딩을 하던 나에게 이건 너무 큰 시련이였기에 방법을 찾아서 이 글을 남긴다. 1. 위쪽 메뉴바에 Setting > Advanced Setting Editor 으로 setting editor 접근 2. search 에 notebook 검색, Auto Closing Brackets 선택 위의 auto closing bracket 은 code cell, md, raw cell 로 나뉘어 있다. 필자는 모두 auto closing 을 선택했다. + 여러 블로그..
python 에서 엑셀파일을 다루는 툴은 많지만 나는 deeplearning 데이터처리를 위해 쓰는 것이므로 pandas 를 쓰기로 했다. 예시로 들 엑셀은 아래와 같다. name age gender grade score james 22 men 2 88 amy 25 women 4 67 edward 24 men 3 89 1. 엑셀 읽기 import pandas as pd df = pd.read_excel([엑셀파일경로(이름)], sheet_name = [시트이름]) df = pd.read_excel('./data/excel/score1.xlsx') # sheet_name 이 없을 경우 제일 첫 시트저장됨 위의 df 는 DataFrame 형태로 저장된다. 2. 특정 데이터 접근하기 df['칼럼명'] # 열에..
ASR 을 위한 오디오 데이터 전처리 공부를 위한 TODO list 정리 1. 오디오데이터 전처리 blog https://hyunlee103.tistory.com/54
2023년 1학기에 도전학기제로 이전 2022년 2학기에 진행했던 online judge system 에서 code 유사도를 검사하는 시스템을 더 얹어보기로 했다. 이 포스팅은 코드 유사도 검사 시스템 구현을 위한 자료들을 정리하고 찾기 위한 키워드들을 위해 정리한다. 1. Binary Code Similarity Analysis BCSA 로 줄여 말하기도 하며 특정 프로그래밍 언어나 시스템에 국한되지 않고 바이너리 데이터 자체를 분석하여 malware detetion, 패치 분석등에 응용될 수 있다. 밑의 링크는 이 BCSA 에 관한 survey 로 여러가지 사례와 논문을 소개한다. 논문 링크 : https://dl.acm.org/doi/10.1145/3446371 A Survey of Binary C..
pyannot-audio 를 사용해 보면서 생기는 의문점들에 대해 정리하는 곳이다. 1. overlap은 따로 플래그가 존재하지 않는 것 같다. diarization.for_json() 에서 나오는 track 이라는 플래그는 화자를 구분하기 위한 플래그 인 듯 하다. diarization.for_json() {'pyannote': 'Annotation', 'content': [{'segment': {'start': 10.9603125, 'end': 21.1021875}, 'track': 'A', 'label': 'SPEAKER_00'}, {'segment': {'start': 31.665937500000002, 'end': 37.690312500000005}, 'track': 'B', 'label': '..
파이썬에는 Dictionary 라는 자료형이 있는데 이는 JSON 과 유사한 형태를 가지고 있다. 프로그래밍을 하다보면 dict to json 으로 변환 후 json 파일 자체를 저장해야 하는 경우가 많다. 위의 경우를 매번 찾아서 쓰기 귀찮아서 정리한다. 1. dict to json import json dict = { "segmentInfo" : segDict, "timeInfo" : { "totalWavLength" : 255343, "totalSegCnt" : 223, "totalSegTime" : 253432, "totalBlankLength" : 334, "segmentCnt" : len(segDict) } } with open('[폴더경로]/[json파일명].json','..
이번에 과제를 진행하면서 2명이 주고받는 대화를 녹음한 mp3 파일에서 2명의 화자를 구분해 내는 것을 해야 했다. 이를 speaker dirazation 이라고 하는데 이와 관련한 코드인 pyannote-audio 를 써 보았다. OS : Ubuntu 20.04 안의 Docker Ubuntu20.04 (Ubuntu image : 11.6.1-cudnn8-devel-ubuntu20.04) 1. 환경 구축 이 모델을 돌리는데 gpu 로 돌리는 것을 추천한다. gpu 설정이나 cuda, cuDNN 설치를 로컬환경에서 할수도 있지만 나는 docker 를 설치 후 관련한 이미지를 사용하였다. https://jeahun10717.tistory.com/42 https://jeahun10717.tistory.com/..
10월 말쯤 교수님께서 ETRI 동계인턴 모집한다고 한 번 지원해 보라고 하셔서 지원서를 작성하게 되었다. 예전에 해커톤에서 대상을 받은 적이 있었는데 그 쪽 분야와 겹치는 분야가 있길래 그 쪽 분야를 더 공부해보고 싶은 마음에 복합지능 연구실에 지원하게 되었다. 다른 사람들은 ETRI 를 어떻게 생각할지는 모르겠지만 연구자가 되고 싶은 나에게는 최고의 기업이였다. 그래서 사실 큰 기대를 안했는데 붙게 되었다. 밑의 글에서는 자소서를 어떻게 썼는지와 1주차, 2주차를 거치면서 어떤 업무를 했는지 대략만 써 보려고 한다. 1. 자소서 동계 인턴 같은 경우 자소서만 보고 따로 면접이나 다른 평가기준이 없어서 오히려 편했던 것 같다. 문항은 총 5가지였다. 자소서는 총 5가지 문항인데 나는 직무연관성을 강조하..
인턴 활동중 딥러닝 pretrain model 이나 모델 학습에서 회사에서 제공해 준 노트북의 VRAM 이 부족하여 서버를 하나 대여받게 되었다. 다른 분들도 이용하는 서버였기에 Docker 를 얹어서 그 안에 jupyter lab 을 깔고 그 jupyter lab 을 내 노트북과 연결하여 사용하기로 하였다. 환경 : 1. 노트북 : win11, 64bit, rtx3050 4GByte 2. 서버 : ubuntu20.04 1. mobaxterm 설치 이거는 어렵지 않고 관련 자료도 많아서 내가 참조한 블로그 링크를 남긴다 https://securityspecialist.tistory.com/141 2. Ubuntu 에서 Docker 설치 및 컨테이너 생성 2.1. ubuntu docker 설치 이 부분은 ..
1. Docker 이미지 가져오기 # docker pull $ docker pull [이미지이름]:[이미지태그] # example $ docker pull ubuntu:lunar-20221216 2. Docker Run # Docker run $ docker container run [옵션1] [옵션2] ... [옵션N] # example $ docker container run -it -d -p 55520:8888 --name sjhUbuntu d5447fc01ae6 /bin/bash Docker run 의 경우 옵션에서 여러가지 설정을 할 수 있는데 아래 설명과 링크를 참고하라. -i, --interactive 표준 입력(stdin)을 활성화하며, 컨테이너와 연결(attach)되어 있지 않더라도 표준..
지금 쓰는 컴퓨터가 VRAM 이 너무 작아서 딥러닝 작업이 불가능했는데 회사에서 서버를 제공해 줘서 Docker 를 설치하게 되었다. 원래도 외주를 하거나 학교에서 공동작업을 할 때는 Docker 를 썼지만 설치나 설정이 귀찮아서 정리를 안하다가 이번에 정리를 하게 되었다. 환경 : Ubuntu 20.04, 64bit OS 1. 사전 패키지 설치 $ sudo apt update $ sudo apt-get install -y ca-certificates \ curl \ software-properties-common \ apt-transport-https \ gnupg \ lsb-release 2. GPG 키 저장소 및 다운 $ sudo mkdir -p /etc/apt/keyrings $ curl -fsS..
jupyter 이나 notebook 에서 작업할 때 특정한 conda terminal 을 연결해야 하는 경우가 있는데 그 연결방법을 정리한다. 이 글은 아래 링크를 참고하여 만들었다. https://wonhwa.tistory.com/50 [Jupyter lab] 주피터랩에서 anaconda 가상환경 연결하기 저번 포스팅에 이어서 mecab이라는 가상환경을 만들어 jupyter lab에서 연결하는 방법을 알아보도록 하겠습니다. 1. 가상 환경 생성하기 anaconda prompt를 열고 아래의 명령어를 입력하여 사용할 가상환 wonhwa.tistory.com 1. 가상환경 생성 및 활성화 conda 가상환경 생성이나 리스트 삭제 등은 아래 링크를 참고하라. https://jeahun10717.tistory..
에트리 인턴과정 중 whisper 를 써 보라고 하셔서 기록을 남긴다. 1. whisper 사전 설정 및 설치 필자는 윈도우 기반의 데스크탑을 사용하여서 window 만 기술한다. 혹시 다른 운영체제가 궁금하면 whisper github 의 readme 를 참조하면 된다.(https://github.com/openai/whisper) 환경 : anaconda, jupyter lab, python 3.9, win 11 1.1. whisper python 실행을 위한 설치 pip install git+https://github.com/openai/whisper.git 1.2. whisper 커맨드라인 실행을 위한 설치 whisper 는 python 코드 뿐 아니라 커맨드라인에서도 동작할 수 있도록 지원한다...
아래의 ERD 를 DB 에 옮기는 과정에서 delete on cascade 를 해 줬어야 했는데 까먹고 안해버려서 alter 를 이용하여 하려 한다. 위의 ERD 에서 User 1명에 Judge N개가 대응하는 형태에서 delete on cascade 를 진행한다. 이 때 User 를 부모, Judge 를 자식 이라고 명명하겠다. alter table [자식 테이블] add foreign key ([자식 테이블의 FK]) references [부모 테이블] ([부모 테이블의 PK]) on delete cascade; 첨언 : 같이 일을 했던 선배가 위의 쿼리 작성 시 한줄로 쓰지 말라고 하더라. 한줄로 쓰면 보기 힘들다고 혼났다. 쿼리 작성 규칙 같은 거는 보통 회사 내의 규칙이라서 뭐가 맞고 뭐가 틀린..
1. 방사왜곡(Radial Distortion) 이러한 왜곡은 볼록렌즈의 굴절률에 의한 것으로 나타난다. 실생활에서 광각카메라 같이 넓은 범위를 촬영하기 위한 카메라에서 이러한 왜곡이 많이 발생하는데 왜곡보정을 위해 수학적인 식을 사용할 수도 있다. 2. Barrel Distortion, Pincushion Distortion 2.1. Barrel Distortion 이 왜곡은 광각렌즈로 인해 발생하는 경우가 많으며 음의왜곡이라고도 한다. 카메라 렌즈가 오목할 경우 발생한다. 2.2. Pincushion Distortion 이 왜곡은 양의 왜곡이라고도 하며 볼록렌즈에 의해 발생한다. 2.3. 왜곡보정 위에서 설명한 방사왜곡의 한 종류로 위의 왜곡을 줄이기 위해서는 2가지 방식을 사용할 수 있다. 2.3...
