SIMON

방법 1. 윈도우에 바로 설치 -> 역시 윈도우는 잘 안됬다.

출처: https://thegeeksdiary.com/2021/10/07/how-to-setup-tensorflow-with-gpu-support-in-windows-11/

1. GeForce 그래픽 드라이버 설치

2. Visual Studio 2019 설치 및 C++ 개발도구 설치

3. CUDA 설치 

C:\Users\gudtj\AppData\Local\Temp\cuda

4. cuDnn 설치

환경 변수 중 사용자 변수와 시스템 변수간의 차이

https://wikim.tistory.com/232

https://developer.nvidia.com/cuda-downloads?target_os=Windows&target_arch=x86_64&target_version=11&target_type=exe_local  

잘 되지 않음.

이 분 껄로 시도해볼 예정이다.

https://www.youtube.com/watch?v=xQVOaTUm9lM 

방법 2. Docker를 이용한 설치 방법 -> 놀라울만큼 쉽게 GPU 작동이 가능하다.

https://thegeeksdiary.com/2023/01/29/how-to-setup-tensorflow-with-gpu-support-using-docker/

도커 내 파일을 밖으로 내보내는 방법

https://itholic.github.io/docker-copy/

https://medium.com/@KNuggies/tensorflow-with-gpu-on-windows-with-wsl-and-docker-75fb2edd571f

FROM tensorflow/tensorflow:latest-gpu
WORKDIR /tf-knugs  # This specifies the directory to work
COPY requirements.txt requirements.txt
RUN pip install --upgrade pip
RUN pip install --upgrade -r requirements.txt
EXPOSE 8888
ENTRYPOINT ["jupyter", "lab","--ip=0.0.0.0","--allow-root","--no-browser"]

smf.ols(formula = 'yield~' + exp_str, data = df_train) 구문을 실행시키니 아래와 같은 에러가 나왔다.

PatsyError: Error evaluating factor: SyntaxError: invalid syntax (<string>, line 1)
    yield~clonesize+honeybee+bumbles+andrena+osmia+MaxOfUpperTRange+MinOfUpperTRange+AverageOfUpperTRange+MaxOfLowerTRange+MinOfLowerTRange+AverageOfLowerTRange+RainingDays+AverageRainingDays+fruitset+fruitmass+seeds
    ^^^^^

해결책은 해당 컬럼의 명을 대문자로 바뀌니 해결되었다.

df_fitness=df_fitness.rename(columns={"yield":"YIELD"})

검정이란?

검정은 쉽게 말하자면, 기존 주장이 맞는가 아니면 데이터에 기반한 새로운 주장이 맞는 가를 증명하는 방법론이다.

예를 들어, 민트를 좋아하는 사람이 전세계에 더 많을 것인가 아니면 좋아하지 않는 사람이 많지 않을 것이라는 질문이 있다. 민초파들은 민초를 좋아하는 사람이 더 많다고 할 것인데, 이 주장에 대한 반박을 하기 위해서는 검정과정이 필요하다.

검정의 종류

검정은 특히 어떤 것을 주장하는지, 즉 검정 대상에 따라 방법이 나뉜다. 1-sample t-test, 2-sample t-test, 1 proportion test, 2 proportion test, pair t-test, chi-square test, ANOVA가 존재한다.

1 Sample T-test

1-sample t-test는 하나의 샘플(표본)집단의 평균이 기존의 알려진 평균과 차이가 있을 때 쓰는 검정 통계 기법이다. 먼저는, 표본 집단의 모집단이 정규성을 띄는지에 대한 정규성 검정을 해야한다. 대표적으로 Shapiro 검정이 있다. 그리고 1-Sample t-test의 p-value가 0.05보다 작게되면, 기존의 알려진 평균이 아닌, 하나의 샘플 집단의 평균이 옳다고 증명할 수 있다.

예를 들어, 각각의 초코바는 평균이 100g을 정량으로 하고 있다. 하지만, 기업의 폭리로 인해 초코바의 평균이 100g이 아니라는 것을 소비자 단체는 증명하려고 한다. 이럴 때, 표본 집단을 세워 각각의 초코바의 무게를 측정한다. 78,69,91,69, ... 이러한 데이터를 정규성 검정을 한 다음, t-test를 통해, 기존의 평균인 100g이 유의수준 5%에서 맞는지를 확인할 수 있다.

2 Sample T-test

2-sample t-test는 두개의 샘플 집단 간의 평균이 차이가 있는지를 볼 때 사용하는 검정 통계 기법이다. 먼저는, 두 집단의 정규성 검정과 두 집단 사이의 등분산성 검정을 거쳐야 한다. 이때, 정규성이 없다면 Barlett's Test, 정규성이 있다면 Levene's Test를 따른다. 2 Sample t-test를 하기 위해서 등분산성이 없다면 Student's t-test, 분산이 같지 않다면 Welch's t-test를 시행한다. 

예를 들어, A 식물공장과 B 식물공장간의 생산량 차이를 알고 싶다. 그렇다면, 데이터로서는 월별 식물 공장의 생산량이 있을 것이다. 이럴 때 A 식물공장과 B 식물공장은 월별로 얻은 한 달의 평균 생산량을 데이터로 가지고 있을 때, 생산량이 유의미한 차이를 2-sample t-test를 통해 알 수 있게 된다.

1 Proportion test

1-proportion test는 1-sample t-test가 검정에 대한 대상은 평균으로 두었다면, 비율로 대상만 바뀌었을 뿐이다. 2 proportion test 또한 이와 마찬가지다. 특별히 pair t-test는 표본 대상이 같은 표본 집단의 전 후 차이에 대해 검정을 하고 싶을 때 사용한다. 이는 서로 다른 표본 집단인 2 proportion test와의 차이점이다.

예를 들어, 어른의 비율이 평균 50%라고 되어 있다. 하지만, 경상 북도의 어른 비율은 이와 다르다고 주장하고 싶다. 이때 1-proportion test를 이용한다. 각 도별로 어른 비율이 차이가 난다고 주장하고 싶을 때는 2 proportion test를 사용한다.

Chi Square test

카이제곱 검정은 범주형 자료에서 분석이 이용되며, '빈도'가 다른지의 여부를 검정한다. 1,2 proportion test는 단지 A 사건이 일어난 것과 아닌 비율에 대해 평균치와 다른지를 검정했다면, 카이제곱 검정은 A,B,C와 같은 여러 범주에 일어난 비율이 집단간 차이가 있는지 검정할 수 있다. 

예를 들어, 전라남도에서 재배한 딸기의 등급이 A등급 100개, B등급 120개, C등급 200개라면 전국에서 재배한 딸기의 등급과 비교해 품질이 같은지를 알고 싶을 때 사용한다.

ANOVA

ANOVA는 기존에 1,2 sample t-test와 같은 경우 검정 대상이 2개까지 평균이 차이가 있는지 검정이 가능했지만, ANOVA를 통해서는 여러 대상간의 평균 차이가 있는지를 확인할 수 있다. 

예를 들어, 대한민국과 일본과 중국의 각 축구팀의 골 결정력에 대한 차이가 있는지 알아보고 싶다. 이때 각 집단은 선수별로의 골 결정력의 데이터를 가지고 있을 것이고, ANOVA를 통해 각 집단간의 골 결정력이 유의미한 차이가 있는지 확인할 수 있다.

df.value_counts는 df에 속한 모든 컬럼들에 대한 count를 해준다. size는 groupby의 결과물인 , groupby로 생성된 객체의 내장 함수이며, groupby로 지정된 컬럼들에 대한 count를 실시한다.