Pós-Graduação: Especialização em Data Science & Big Data¶
Pontifícia Universidade Católica de Minas Gerais (PUC-MG)¶
Victor Hugo Negrisoli - Linguagens de Programação Para Ciência de Dados¶
Introdução ao Pandas - Series¶
In [144]:
import pandas as pd
import numpy as np
import pickle
In [7]:
# Criando um objeto Series do Pandas
idades = [15, 24, 88, 75, 34, 23]
serie_idades = pd.Series(idades)
serie_idades
Out[7]:
In [13]:
# Criando um objeto Series do Pandas utilizando 2 listas
pessoas = ['Eni', 'Bia', 'Flávio', 'Carlos', 'Dedé', 'Abigail']
serie_idades_pessoas = pd.Series(idades, pessoas)
serie_idades_pessoas
Out[13]:
In [17]:
# Recuperando itens
print(serie_idades[1])
print(serie_idades_pessoas[2])
print(serie_idades_pessoas['Flávio'])
In [20]:
# Criando uma série a partir de uma Tupla
estados = ("Mnas Gerais", "Amazonas", "Maranhão", "Goiás", "Santa Catarina")
siglas = ("MG", "AM", "MA", "GO", "SC")
serie_estados = pd.Series(estados, siglas)
serie_estados
Out[20]:
In [22]:
# Alterando os dados de uma série. Ex: Minas Gerais (estava como Mnas Gerais)
serie_estados["MG"] = "Minas Gerais"
serie_estados
Out[22]:
In [24]:
# Criando séries a partir de Arrays NumPy
precos = np.array([25, 22, 18.5, 4.75, 3, 4.5, 2.3])
lanches = np.array(['X-tudo', 'X-Bacon', 'Bauru', 'Misto-quente', 'Pão-de-queijo', 'Coxinha', 'Pastel'])
series_lanches_precos = pd.Series(precos, lanches)
series_lanches_precos
Out[24]:
In [26]:
# Criando séries a partir de dicionários
dic_estados = {"MG": "Minas Gerais", "CE": "Ceará", "MT": "Mato Grosso", "RR": "Roraima"}
series_estados_1 = pd.Series(dic_estados)
series_estados_1
Out[26]:
In [27]:
dic_estados_2 = {"MG": {"Estado":"Minas Gerais", "Capital":"Belo Horizonte", "População (2014)":20777672},
"CE": {"Estado":"Ceará", "Capital":"Fortaleza", "População (2014)":8867448},
"MT": {"Estado":"Mato Grosso", "Capital":"Cuiabá", "População (2014)":3236578},
"RR": {"Estado":"Roraima", "Capital":"Boa Vista", "População (2014)":500826},}
series_estados_2 = pd.Series(dic_estados_2)
series_estados_2
Out[27]:
In [28]:
print(series_estados_2["MG"])
In [29]:
print(series_estados_2["MG"]["Estado"])
In [30]:
print(series_estados_2["MG"]["Capital"])
In [35]:
# Criando Series a partir de arquivos CSV
idades = pd.read_csv('dados/idades.csv')
idades.head()
Out[35]:
In [37]:
type(idades)
Out[37]:
In [40]:
# Recuperando os dados (pois está no formato DataFrame)
idades["Idades"][3]
Out[40]:
In [41]:
# O parâmetro squeeze (default False) irá retorna um formato Series caso os dados do CSV possuam apenas uma coluna
idades = pd.read_csv('dados/idades.csv', squeeze = True)
idades.head()
Out[41]:
In [42]:
type(idades)
Out[42]:
In [43]:
idades[4]
Out[43]:
In [45]:
# Lendo o arquivo idades2.csv, que agora possuem 2 colunas
idades_2 = pd.read_csv('dados/idades2.csv', squeeze = True)
idades_2
Out[45]:
In [46]:
# Para termos um objeto Series, teremos que definir um das colunas para o índice
idades_2 = pd.read_csv('dados/idades2.csv', squeeze = True, index_col = 0)
idades_2
Out[46]:
In [47]:
type(idades_2)
Out[47]:
In [48]:
# Lendo de um arquivo XLSX (Excel) sem informar qual a planilha aberta. Por padrão, sempre abre a primeira planilha
idades_xlsx = pd.read_excel('dados/idades2.xlsx', squeeze = True)
idades_xlsx
Out[48]:
In [49]:
type(idades_xlsx)
Out[49]:
In [50]:
# Criando uma Series informando a Planilha (no caso, queremos a segunda)
idades_xslx_2 = pd.read_excel('dados/idades2.xlsx', squeeze = True, sheet_name = "Planilha2")
idades_xslx_2
Out[50]:
In [51]:
type(idades_xslx_2)
Out[51]:
In [52]:
# Vamos recriar a planilha acima, porém, indicando a coluna de índice para criar um objeto Series ao invés de DataFrame
idades_xslx_2 = pd.read_excel('dados/idades2.xlsx', squeeze = True, sheet_name = "Planilha2", index_col = 0)
idades_xslx_2
Out[52]:
In [53]:
type(idades_xslx_2)
Out[53]:
In [54]:
# Atributos do objeto Series
idades_xslx_2.dtype
Out[54]:
In [55]:
idades_xslx_2.name
Out[55]:
In [56]:
idades_xslx_2.nbytes
Out[56]:
In [57]:
idades_xslx_2.index
Out[57]:
In [59]:
idades_xslx_2.ndim
Out[59]:
In [60]:
idades_xslx_2.size
Out[60]:
In [62]:
idades_xslx_2.shape
Out[62]:
In [63]:
idades_xslx_2.values
Out[63]:
Indexação e iteração do objeto Series¶
In [67]:
series_lanches_precos
Out[67]:
In [68]:
# Método at[] para localizar itens pelo rótulo
series_lanches_precos.at["X-tudo"]
Out[68]:
In [69]:
# Método iat[] para retornar itens pelo índice
series_lanches_precos.iat[0]
Out[69]:
In [70]:
# É possível também alterar o valor usando at e iat
series_lanches_precos.at["X-tudo"] = 27
series_lanches_precos.iat[1] = 35
series_lanches_precos
Out[70]:
In [71]:
# Método get() também retorna valor, mas não altera dados
series_lanches_precos.get(0)
Out[71]:
In [72]:
# O método loc irá permitir o acesso a mais de um rótulo
series_lanches_precos.loc[["X-tudo", "Pastel"]]
Out[72]:
In [73]:
# O método iloc irá permitir o acesso a mais de um índice
series_lanches_precos.iloc[[0, 2, 4]]
Out[73]:
In [75]:
# O método keys() nos retornará as chaves ou rótulos
series_lanches_precos.keys()
Out[75]:
Métodos matemáticos e estatísticos do Series¶
In [76]:
a = pd.Series([4, 8, 2, 5, 7])
b = pd.Series([1, 2, 3, 4, 5])
In [91]:
c = a.add(b)
c
Out[91]:
In [92]:
a2 = a.add(5)
a2
Out[92]:
In [93]:
a3 = a.sub(4)
a3
Out[93]:
In [94]:
a4 = a.div(3)
a4
Out[94]:
In [95]:
a.mean()
Out[95]:
In [96]:
a.sum()
Out[96]:
In [97]:
a.std()
Out[97]:
In [98]:
a.describe()
Out[98]:
In [99]:
a.max()
Out[99]:
In [100]:
a.min()
Out[100]:
In [102]:
# Utilizando o método round() para arredondar os valores
a = pd.Series(np.random.randint(0, 100, 10)).pow(1/2)
a
Out[102]:
In [104]:
a = a.round(2)
a
Out[104]:
In [106]:
a = a.round(0)
a
Out[106]:
Métodos booleanos lt (menor que), gt (maior que), le (menor ou igual), ge (maior ou igual), ne (diferente) e eq (igual)¶
In [109]:
b.lt(a)
Out[109]:
In [111]:
a.gt(b)
Out[111]:
In [112]:
b.le(a)
Out[112]:
In [113]:
a.ge(b)
Out[113]:
In [115]:
b.ne(a)
Out[115]:
In [117]:
a.eq(b)
Out[117]:
In [119]:
# Métodos sum, abs e product
a.sum()
Out[119]:
In [120]:
a.product()
Out[120]:
In [126]:
# Método abs() para números absolutos, vamos criar um Series com números positivos e negativos
a = pd.Series(np.arange(-6, 6, 2))
a
Out[126]:
In [127]:
# O resultado são todos os números absolutos
a.abs()
Out[127]:
In [128]:
# Calculando o quartil, os N maiores ou N melhores
a.quantile(.25)
Out[128]:
In [129]:
a.quantile(.5)
Out[129]:
In [130]:
a.quantile(.75)
Out[130]:
In [131]:
a.nsmallest(3)
Out[131]:
In [132]:
a.nlargest(3)
Out[132]:
In [133]:
a.unique()
Out[133]:
In [134]:
a.nunique()
Out[134]:
In [135]:
np.sort(a.unique())
Out[135]:
In [136]:
# O método count() sempre contará a qunatidade de elementos não nulos
a.count()
Out[136]:
In [137]:
b = pd.Series([2, 5, np.nan, 0, 3, None, 6])
b
Out[137]:
In [139]:
b.count()
Out[139]:
Métodos de manipulação e seleção do Series¶
In [140]:
series_estados_2
Out[140]:
In [141]:
# Utilizando o shallow copy()
copia = series_estados_2.copy()
copia
Out[141]:
In [143]:
# Verificando que, mesmo com shallow copy(), a alteração irá refletir em ambas as Séries, pois a shallow copy
# é uma cópia superficial, apenas a referência da memória do objeto
copia["MT"]["Capital"] = "São Paulo"
print(series_estados_2["MT"]["Capital"])
print(copia["MT"]["Capital"])
In [149]:
# Realizando uma deep copy, ou seja, uma cópia profunda dos dados da Series utilizando a biblioteca Pickle
# Voltando os dados ao estado original
series_estados_2["MT"]["Capital"] = "Cuiabá"
copia["MT"]["Capital"] = "Cuiabá"
In [150]:
# Criando a cópia da Series usando o Pickle
copia_profunda = pickle.loads(pickle.dumps(series_estados_2))
copia_profunda
Out[150]:
In [151]:
# Agora, ao alterar a Series copia, a series_estados_2 continuará em seu estado original
copia_profunda["MT"]["Capital"] = "São Paulo"
print(series_estados_2["MT"]["Capital"])
print(copia_profunda["MT"]["Capital"])
In [152]:
# Concatenação de Series com append()
a
Out[152]:
In [153]:
b
Out[153]:
In [156]:
# Os índices são relacionados a cada série concatenada
ab = a.append(b)
ab
Out[156]:
In [157]:
# Realizando uma concatenação, porém, ignorando os índices das séries a e b, ou seja, será de 0 até o máximo
ab = a.append(b, ignore_index = True)
ab
Out[157]:
In [159]:
# Substituindo dados com replace
c = ab.replace(0, 1)
c
Out[159]:
In [160]:
# Utilizando o método update() para atualizar os dados de uma Series
d = pd.Series([4, 10, 11, 12], index=[9, 7, 10, 4])
d
Out[160]:
In [163]:
# Os dados dos índices 9, 7, 10 e 4 foram substituídos pelos dados da Series d
c.update(d)
c
Out[163]:
In [169]:
# Head, tail e sample
c.head(4)
Out[169]:
In [170]:
c.tail(3)
Out[170]:
In [171]:
c.sample()
Out[171]:
In [172]:
c.sample(4)
Out[172]:
Utilizando métodos where e mask¶
In [173]:
c = (a.append(b, ignore_index = True)).replace(np.nan, -1)
c
Out[173]:
In [174]:
# Criando listas usando o where. Sempre troca o valor quando a condição é falsa
d = c.where(c > 3, 10) # Se c > 3, então mantém, senão, o valor será substituído por 10
e = c.where(c <= 3, 0) # Se c <= 3, mantém, senão, será 0
In [175]:
d
Out[175]:
In [176]:
e
Out[176]:
In [177]:
# O método mask() substitui os valores quando satisfaz-se a condição (contrário do where)
d = c.mask(c > 3, 10) # Se c > 3, então o valor será substituído por 10, senão, mantém
e = c.mask(c <= 3, 0) # Se c <= 3, será 0, senão, mantém
In [178]:
d
Out[178]:
In [179]:
e
Out[179]:
Tratando dados ausentes (missing data) com isna(), notna(), dropna() e fillna()¶
In [181]:
dados = pd.Series([2, 5, np.nan, 0, 3, None, 6])
dados
Out[181]:
In [182]:
# O método isna() apenas retorna uma lista com resultados booleanos dos valores ausentes
dados.isna()
Out[182]:
In [183]:
# O método notna() retornará uma lista com resultados booleanso dos valores não ausentes
dados.notna()
Out[183]:
In [187]:
# O método dropna() irá retornar uma lista com os valores nulos ou ausentes
dados_sem_ausentes = dados.dropna()
dados_sem_ausentes
Out[187]:
In [191]:
# Ao informar o parâmetro inplace, será feita a remoção na própria Series
dados.dropna(inplace = True)
dados
Out[191]:
In [193]:
# O método fillna() irá retornar uma lista com valores nulos preenchidos por outros valores
dados = pd.Series([2, 5, np.nan, 0, 3, None, 6])
dados_ausentes_preenchidos = dados.fillna(1)
dados_ausentes_preenchidos
Out[193]:
In [198]:
# Parâmetros bfill (preenche com o valor posterior ao NaN), ffill (preenche com o valor anterior ao NaN) e inplace
dados_bfill = dados.fillna(method = "bfill")
dados_ffill = dados.fillna(method = "ffill")
dados.fillna(-1, inplace = True)
In [199]:
dados_bfill
Out[199]:
In [200]:
dados_ffill
Out[200]:
In [201]:
dados
Out[201]:
Métodos de Ordenação¶
In [202]:
idades_2
Out[202]:
In [206]:
# Realizando uma ordenação pelos valores, no caso, a idade
idades_ordenadas_valores = idades_2.sort_values()
idades_ordenadas_valores.head(15)
Out[206]:
In [207]:
# Realizando a ordenação pelo índice
idades_ordenadas_rotulos = idades_2.sort_index()
idades_ordenadas_rotulos.head(15)
Out[207]:
Manipulação de Strings¶
In [208]:
livros = pd.Series(["Introdução à programação com Python",
"Curso Intensivo de Python",
"Python para análise de dados"])
livros
Out[208]:
In [210]:
# Utilizando letras minúsculas com lower()
livros.str.lower()
Out[210]:
In [211]:
# Utilizando letras maiúsculas com upper()
livros.str.upper()
Out[211]:
In [214]:
# Utilizando letras capitalização
minusculas = livros.str.lower()
minusculas.str.capitalize()
Out[214]:
In [217]:
# Definindo Strings como títulos
minusculas.str.title()
Out[217]:
Métodos para plotagens de gráficos com Series¶
In [220]:
# Gerando uma série de 38 notas aleatórias entre 0 e 100
np.random.seed(50)
notas = pd.Series(np.random.randint(0, 101, 38))
notas.head()
Out[220]:
In [222]:
notas.describe()
Out[222]:
In [226]:
# Plotando um gráfico de histograma
%matplotlib inline
notas.plot.hist()
Out[226]:
In [229]:
# Ao informar o valor bins por parâmetro, irá gerar o histograma com 101 barras para realizar a comparação
notas.plot.hist(bins = 101)
Out[229]:
In [230]:
np.sort(notas)
Out[230]:
In [231]:
# Gerando um gráfioc de barras
notas.plot.bar()
Out[231]:
In [232]:
# Gerando um gráfioc de área
notas.plot.area()
Out[232]:
In [233]:
# Gerando um gráfioc de boxplot
notas.plot.box()
Out[233]:
In [234]:
# Gerando um gráfioc de linhas
notas.plot.line()
Out[234]:
In [238]:
# É possível gerar o histograma sem a necessidade do plot
notas.hist()
Out[238]:
