Pandas 정리

자세한 정보는 아래 참고

https://pandas.pydata.org/docs/

pandas documentation — pandas 2.2.3 documentation

 

판다스란?

 

판다스는 데이터 분석 라이브러리로, 시리즈와 데이터프레임 자료형으로 데이터를 다룬다.

내부적으로 넘파이를 활용하며, Flask, Sklearn 등 다른 시스템과 연결이 용이하다.

• Series: 1차원 배열, 하나의 열에 해당, 각 원소는 인덱스로 식별
• DataFrame: 2차원 배열, 여러 개의 시리즈가 모인 형태, 행과 열로 구성

데이터프레임은 인덱스, 열, 값으로 이루어진다.

• ndarray[행][열]
• DataFrame[열][행]

import pandas as pd

data = {
    'Class': ['Math', 'Science', 'History', 'Math', 'Science', 'History', 'Math'],
    'Name': ['John', 'Alice', 'Bob', 'David', 'Eva', 'Frank', 'Grace'],
    'Age': [18, 19, 20, 21, 22, 23, 24],
    'Score': [85, 92, 76, 88, 90, 78, 90],
}
df = pd.DataFrame(data)

접근 및 수정

• 특정 열에 접근하려면 df['열 이름'] 또는 df.열 이름을 사용
• 행은 인덱스로 접근

# 열에 접근
print(df['Age'][0])  # 첫 번째 행의 '나이' 값

# 열 이름으로 접근
print(df.Age)

# 열 수정
df['Age'] = df['Age'] + 1  # 나이에 1 더하기

 

DataFrame 정보 확인

• info(): 데이터프레임의 열과 데이터 타입, 결측값 등을 확인
• describe(): 기본적인 통계량 확인, include='all'로 모든 데이터 타입에 대해 통계 확인
• head()와 tail(): 데이터프레임의 앞부분과 뒷부분 확인

print(df.info())
print(df.describe(include='all'))
print(df.head(2)) 
print(df.tail(2))

 

열 추가 및 삭제

• 열을 추가 및 삭제
• 열을 삭제할 때는 del이나 drop() 사용

df['Location'] = ['서울', '부산', '대전', '대구', '부산', '울산', None]  # 새 열 추가
del df['Location']  # 열 삭제
df.drop('Age', axis=1)  # 'Age' 열 삭제
del df['Score'][85] # dataframe에서는 특정 값 자체의 삭제를 허용하지 않는다.

 

브로드캐스팅과 조건 필터링

• 브로드캐스팅으로 한 번에 여러 값 수정
• 조건을 만족하는 행에 대해 True/False 값을 부여

df['over25'] = df['Age'] >= 20 # 나이가 20 이상인 경우 True

 

데이터프레임 결합

• pd.concat() 함수: concat() 함수로 데이터프레임을 세로(axis=0)나 가로(axis=1)로 결합할 때 사용
• pd.merge() 함수: merge()는 SQL의 JOIN처럼 두 데이터프레임을 특정 열을 기준으로 결합할 때 사용

예를들어 merge()의 how='left' 이라면

• how='left'는 왼쪽 데이터프레임을 기준으로 결합하고, 오른쪽 데이터프레임에서 일치하는 값만 결합한다.
• 왼쪽 데이터프레임에 모든 데이터가 유지되며, 오른쪽 데이터프레임에서 일치하지 않는 값은 NaN으로 채워진다.

# 추가 데이터프레임 
data2 = {
    'Class': ['Math', 'Science', 'History', 'Math', 'Science', 'History', 'Math'],
    'Teacher': ['Mr. A', 'Mrs. B', 'Ms. C', 'Mr. D', 'Mrs. E', 'Ms. F', 'Mr. G'],
}
df2 = pd.DataFrame(data2)

# 세로로 결합
df_combined = pd.concat([df, df2], axis=0)
print("세로로 결합",df_combined)

# 가로로 결합
df_combined = pd.concat([df, df2], axis=1)
print("가로로 결합",df_combined)

# 인덱스 리셋
df_combined = pd.concat([df, df2], ignore_index=True)
print("인덱스 리셋",df_combined)

# 공통된 행 인덱스를 기준으로 열(가로 방향)을 결합 (inner join)
df_combined = pd.concat([df, df2], join='inner', axis=1)
print("공통된 행 인덱스를 기준으로 열 결합:", df_combined)

# merge()를 사용하여 'Class' 열을 기준으로 결합
df_combined = pd.merge(df, df2, on='Class', how='left')
print("merge() 사용 (how='left'):")
print(df_combined)

 

NaN 처리

• 판다스에서 None은 NaN으로 바뀝니다. 이는 NumPy에서 제공하는 결측값을 의미

df['Score']['셋'] = None  # '셋' 행의 'Score' 값에 None 할당, NaN이 됩니다.

 

데이터 접근 및 조작

 

데이터가 아래와 같을 때

import pandas as pd

data = {
    'Class': ['Math', 'Science', 'History', 'Math', 'Science', 'History', 'Math'],
    'Name': ['John', 'Alice', 'Bob', 'David', 'Eva', 'Frank', 'Grace'],
    'Age': [18, 19, 20, 21, 22, 23, 24],
    'Score': [85, 92, 76, 88, 90, 78, 90],
}

 

슬라이싱

# 변수명.loc[행(인덱스명), 열(컬럼명)]
df.loc[1:, 'Age':'Score']  # 1번 행부터 시작하여 'Age'에서 'Score'까지 슬라이싱
df.loc[[1, 2], ['Score', 'Age']]  # 1번, 2번 행의 'Score'와 'Age' 열만 선택

# 변수명.iloc[행인덱스자체, 열인덱스자체]
df.iloc[1:, 1:]            # 1번 행부터 시작하여 1번 열부터 끝까지 슬라이싱

 

인덱싱

df = pd.DataFrame(data)

# 1. loc[] 인덱싱 (라벨 기반)
print(df.loc[1, 'Name'])            # 1번 행의 'Name' 열 값
print(df.loc[3:5, ['Class', 'Score']])  # 3~5번 행의 'Class'와 'Score' 열 값

# 2. iloc[] 인덱싱 (정수 기반)
print(df.iloc[1, 0])               # 1번 행의 0번째 열 값
print(df.iloc[3:6, [1, 3]])        # 3~5번 행의 1번, 3번 열 값

# 3. 열(column) 인덱싱
print(df['Age'])                   # 'Age' 열 전체 (Series 반환)
print(df['Name'][2])               # 'Name' 열의 2번 행 값

# 4. 리스트를 활용한 행/열 인덱싱
print(df.loc[[0, 2, 4], ['Name', 'Score']])  # 0, 2, 4번 행의 'Name'과 'Score' 열 값
print(df.iloc[[0, 2, 4], [1, -1]])          # 0, 2, 4번 행의 1번 열과 마지막 열 값

# 5. 불리언 인덱싱
print(df[df['Score'] > 80])         # 'Score'가 80보다 큰 행 선택
print(df.loc[df['Class'] == 'Math']) # 'Class'가 'Math'인 행 선택

 

데이터 수정 

df.loc[2, 'Name'] = 'S3'  # 두 번째 행의 이름을 'S3'로 수정

 

데이터프레임 정렬

Age 열을 기준으로 내림차순으로 정렬

inplace=True로 설정하면 원본 데이터프레임이 변경되고, sort_values() 함수에서 인덱스를 리셋할지 여부를 결정

인덱스를 특별히 지정해주지 않으면 NumPy 다차원배열처럼 0부터 인덱스가 시작

• inplace=True: 원본 데이터프레임을 정렬하고 결과를 반환하지 않음
• ignore_index=True: 정렬 후 새로운 인덱스를 0부터 시작하도록 리셋

df.sort_values('Age', ascending=False, inplace=True, ignore_index=True)
df.sort_values(['Name', 'Score']) #Name과 Score 두 열을 기준으로 순차적으로 정렬합니다.

 

값 대체

• Class 열에서 Math을 Mathematics으로, Sciecne을 Physics로 대체

df.Class.replace(['Math', 'Science'], ['Mathematics', 'Physics'], inplace=True)

 

# 각 반(Class)의 첫 번째 사람 정보만 출력
df_first_in_class = df[~df.Class.duplicated()]
print("각 반(Class)의 첫 번째 사람 정보:")
print(df_first_in_class)
print()

# 나이가 24 초과인 사람만 출력
df_over_24 = df[df['Age'] > 24]
print("나이가 24 초과인 사람들:")
print(df_over_24)
print()

# C반(Class == 'C')에서 나이가 24 초과인 사람 출력
df_C_over_24 = df[(df['Age'] > 24) & (df['Class'] == 'C')]
print("C반에서 나이가 24 초과인 사람들:")
print(df_C_over_24)
print()

# 시험 점수가 80점 이상 90점 미만인 사람들의 Name과 Score 출력
df_80_to_90 = df.loc[(80 <= df['Score']) & (df['Score'] < 90), ['Name', 'Score']]
print("시험 점수가 80점 이상 90점 미만인 사람들:")
print(df_80_to_90)
print()

# np.where를 사용하여 Pass 또는 Fail 값 할당
df['Result'] = np.where(df['Score'] >= 80, 'Pass', 'Fail')
print("np.where 사용하여 'Pass' 또는 'Fail' 값 할당:")
print(df)
print()

# Pass를 True로, Fail을 False로 변환
df['Result'].replace(['Pass', 'Fail'], [True, False], inplace=True)
print("Pass를 True로, Fail을 False로 변환:")
print(df)
print()

# 마지막 행의 마지막 값을 True로 수정
df.iloc[-1, -1] = True
print("마지막 행의 마지막 값을 True로 수정:")
print(df)

 

고유값 및 빈도수 확인

# 고유 'Class' 값
print(df['Class'].unique())  # 고유 'Class' 값

# 'Class'별 빈도수 확인
print(df['Class'].value_counts())  # 'Class'별 빈도수

 

중복값 확인

print(df['Date'].duplicated())  # 'Date' 열에서 중복된 값

 

그룹화 후 집계연산

# 'Class' 기준으로 행 개수 출력
print(df.groupby('Class').count())

# 'Class' 기준으로 'Name'과 'Score' 개수 출력
print(df.groupby('Class')[['Name', 'Score']].count())

# 'Class' 기준으로 합계 출력
print(df.groupby('Class')[['Name', 'Score']].sum())

# 'Class' 기준으로 평균 점수 출력
print(df.groupby('Class')[['Score']].mean())

# 'Class' 기준으로 최소 점수 출력
print(df.groupby('Class')[['Score']].min())

# 'Class' 기준으로 최대 점수 출력
print(df.groupby('Class')[['Score']].max())

 

특정 값 출력

# 'Name'이 'David'인 행 출력
df_name = df_avg_score_reset_2.loc[df_avg_score_reset_2['Name'] == 'David']
print(df_name)

날짜 형식 변환 및 필터링

from datetime import datetime, timedelta
import pandas as pd

data = {
    'Name': ['John', 'Alice', 'Bob', 'David', 'Eva'],
    'Date': ['2022-03-10', '2022-03-12', '2022-03-15', '2022-03-17', '2022-03-20'],
    'Score': [85, 92, 76, 88, 90]
}

df = pd.DataFrame(data)

# 날짜 형식 변환
df['Date'] = pd.to_datetime(df['Date'])

# 등록일자가 '2022-03-15' 이후인 데이터 필터링
df_filtered = df[df['Date'] >= '2022-03-15']
print(df_filtered)

# 날짜에 14일 추가
df['Date'] = df['Date'] + timedelta(days=14)
print(df.head())


# '2022-03-15'인 행에서 'Name' 열만 출력
df_names_2022_03_15 = df.loc[df['Date'] == '2022-03-15', 'Name']
print(df_names_2022_03_15)

 

Pivot, Melt

Melt (긴 형식으로 변환)

• 데이터를 긴 형식으로 변환
• 'Class', 'Score' 열 ->  'Subject', 'Value'로 변환
• id_vars: 변환하지 않고 유지할 열을 지정

# 'Name'과 'Age'를 id로 사용하고, 'Class'와 'Score'를 긴 형식으로 변환
df_melted = df.melt(id_vars=['Name', 'Age'], var_name='Subject', value_name='Value')
print(df_melted)

# 출력 결과
     Name  Age  Subject  Value
0    John   18    Class   Math
1   Alice   19    Class Science
2     Bob   20    Class History
3   David   21    Class Math
4     Eva   22    Class Science
5   Frank   23    Class History
6   Grace   24    Class Math
7    John   18     Score   85
8   Alice   19     Score   92
9     Bob   20     Score   76
10  David   21     Score   88
11    Eva   22     Score   90
12  Frank   23     Score   78
13  Grace   24     Score   90

 

Pivot (넓은 형식으로 변환)

• 긴 형식의 데이터를 넓은 형식으로 변환
• Name을 인덱스로 사용하고, Subject를 열로 사용하여 데이터를 넓은 형식으로 변환
• values: 피벗 테이블에서 채울 값을 지정하는 열

# 'Name'을 index로, 'Subject'를 columns로 피벗
df_pivoted = df.pivot(index='Name', columns='Subject', values='Value')
print(df_pivoted)

# 출력
Subject   Class  Score
Name
Alice   Science     92
Bob    History     76
David   Math       88
Eva    Science     90
Frank  History     78
Grace   Math       90
John    Math       85


# 'Name'을 index로, 'Subject'를 columns로, 'Score' 값을 피벗
df_pivoted_values = df.pivot(index='Name', columns='Class', values='Score')
print(df_pivoted_values)


# 출력
Class     History  Math  Science
Name
Alice        NaN    NaN      92
Bob       76.0    NaN     NaN
David       NaN    88.0     NaN
Eva         NaN    NaN      90
Frank     78.0    NaN     NaN
Grace       NaN    90.0     NaN
John        NaN    85.0     NaN

 

Google Drive에서 CSV 파일 읽기 (다른 데이터셋으로 변경)

from google.colab import drive

# Google Drive 마운트
drive.mount('/content/drive')

# 데이터 읽기
df = pd.read_csv('/content/drive/MyDrive/data/your_data.csv') 

# 데이터 정보 확인
df.info()