лучший способ удалить nan строк в pandas
Само собой я нашел способ удалить нано строк из фрейма данных pandas. Учитывая фрейм данных dat с колонкой x , которая содержит нано значений, есть ли более элегантный способ удалить каждую строку dat , которая имеет значение nan в колонке x ?
dat = dat[np.logical_not(np.isnan(dat.x))] dat = dat.reset_index(drop=True) Поделиться Источник 02 апреля 2016 в 08:08
7 ответов
Используйте dropna:
dat.dropna() Вы можете передать параметр how для удаления, если все метки являются nan или любые из них являются nan
dat.dropna(how='any') #to drop if any value in the row has a nan dat.dropna(how='all') #to drop if all values in the row are nan Надеюсь, это ответит на ваш вопрос! Редактирование 1: В случае, если вы хотите удалить строки, содержащие значения nan только из определенных столбцов, как предложил Дж. Доу в своем ответе ниже, вы можете использовать следующее:
dat.dropna(subset=[col_list]) # col_list is a list of column names to consider for nan values. Поделиться 08 апреля 2016 в 18:28
Чтобы расширить ответ Хитеша, если вы хотите удалить строки, где ‘x’ конкретно является nan, вы можете использовать параметр subset. Его ответ удалит строки, где другие столбцы также имеют nans
dat.dropna(subset=['x']) Поделиться 07 апреля 2017 в 13:12
В случае, если команды в предыдущих ответах не работают, попробуйте это: dat.dropna(subset=[‘x’], inplace = True)
Поделиться 07 сентября 2017 в 07:16
- Удаление строк/столбцов со всеми NaN
- Сохранение строк/столбцов с желаемым количеством значений non-NaN (имеющих действительные данные)
# Approaching rows ------------------ # Sample df df = pd.DataFrame() print(df) Names Sunday Tuesday Wednesday Friday 0 Name1 2.0 0.0 NaN 1.0 1 Name2 NaN NaN NaN NaN 2 Name3 3.0 3.0 4.0 7.0 3 Name4 3.0 NaN NaN NaN # Keep only the rows with at least 2 non-NA values. df = df.dropna(thresh=2) print(df) Names Sunday Tuesday Wednesday Friday 0 Name1 2.0 0.0 NaN 1.0 2 Name3 3.0 3.0 4.0 7.0 3 Name4 3.0 NaN NaN NaN # Keep only the rows with at least 3 non-NA values. df = df.dropna(thresh=3) print(df) Names Sunday Tuesday Wednesday Friday 0 Name1 2.0 0.0 NaN 1.0 2 Name3 3.0 3.0 4.0 7.0 # Approaching columns: We need axis here to direct drop to columns ------------------------------------------------------------------ # If axis=0 or not called, drop is applied to only rows like the above examples # original df print(df) Names Sunday Tuesday Wednesday Friday 0 Name1 2.0 0.0 NaN 1.0 1 Name2 NaN NaN NaN NaN 2 Name3 3.0 3.0 4.0 7.0 3 Name4 3.0 NaN NaN NaN # Keep only the columns with at least 2 non-NA values. df =df.dropna(axis=1, thresh=2) print(df) Names Sunday Tuesday Friday 0 Name1 2.0 0.0 1.0 1 Name2 NaN NaN NaN 2 Name3 3.0 3.0 7.0 3 Name4 3.0 NaN NaN # Keep only the columns with at least 3 non-NA values. df =df.dropna(axis=1, thresh=3) print(df) Names Sunday 0 Name1 2.0 1 Name2 NaN 2 Name3 3.0 3 Name4 3.0 Conclusion:
- Параметр thresh из документа pd.dropna() дает вам гибкость для определения диапазона значений non-Na , которые вы хотите сохранить в строке/столбце.
- Параметр thresh обращается к фрейму данных вышеуказанной структуры, в которой df.dropna(how=’all’) не находится.
Поделиться 05 февраля 2023 в 20:08
dropna() — это, вероятно, все, что вам нужно для этого, но создание пользовательского фильтра также может помочь или быть проще понять
import pandas as pd import numpy as np df = pd.DataFrame( [[4, 7, np.nan, np.nan], [5, np.nan, 11, 2], [6, 9, 12, np.nan]], index=[1, 2, 3], columns=['a', 'b', 'c', 'd']) print(f'starting matrix:\n') #create the matrix of true/false NaNs: null_matrix = df.isnull() #create the sum of number of NaNs sum_null_matrix = null_matrix.T.sum().T #create the query of the matrix query_null = sum_null_matrix') print(f'applied matrix:\n') и вы получите результат:
starting matrix: a b c d 1 4 7.0 NaN NaN 2 5 NaN 11.0 2.0 3 6 9.0 12.0 NaN query matrix: 1 False 2 True 3 True dtype: bool applied matrix: a b c d 2 5 NaN 11.0 2.0 3 6 9.0 12.0 NaN больше информации может быть доступно в ответе на проверку nan: Как проверить, является ли какое-либо значение NaN в Pandas DataFrame
редактировать: dropna() имеет переменную порога, но не имеет переменной min. Этот ответ был для тех случаев, когда кому-то нужно было создать’min NaN’ или другую пользовательскую функцию.
Поделиться 19 сентября 2022 в 22:09
Чтобы удалить строки на основе значения Nan определенного столбца:
d= pd.DataFrame([[2,3],[4,None]]) #creating data frame d Output: 0 1 0 2 3.0 1 4 NaN d = d[np.isfinite(d[1])] #Select rows where value of 1st column is not nan d Output: 0 1 0 2 3.0 Поделиться 21 декабря 2019 в 17:23
Если вы хотите улучшить читаемость кода. Мы можем иметь как значения Nan, так и notNan, используя строку bool
bool_series=pd.notnull(dat["x"]) dat_notnull=dat[bool_series] dat_null =dat[~bool_series] Удаление строк DataFrame, содержащих NaN в определенном столбце
Необходимо удалить все строки DataFrame, где значение столбца filename равно NaN. Код: for n in range(len(df_common_fin)): if df_common_fin.iloc[n, ‘filename’] == np.nan: df_common_fin.drop(index=n) не работает, хотя прохожу по порядковым индексам iloc. Выдается ошибка:
ValueError: Location based indexing can only have [integer, integer slice (START point is INCLUDED, END point is EXCLUDED), listlike of integers, boolean array] types
for n in range(len(df_common_fin)): if df_common_fin['filename'][n] == np.nan: df_common_fin.drop(index=n,axis=0) так же выдаешь ошибку:
KeyError: 0
Отслеживать
149k 12 12 золотых знаков 59 59 серебряных знаков 132 132 бронзовых знака
Python-сообщество
![[RSS Feed]](http://python.su/static/djangobb_forum/img/feed-icon-small.png){kind=icon}
- Начало
- » Python для новичков
- » Удаление ‘nan’ в pandas
#1 Март 9, 2020 15:03:36
Volodya Зарегистрирован: 2020-02-13 Сообщения: 22 Репутация: 0 Профиль Отправить e-mail
Удаление ‘nan’ в pandas
Как удалить из массива pandas значения ‘nan’?
Пробую так, не срабатывает:
dataset_xl_O =pd.read_excel('E:/Gidrolodge_.xlsx', sheet_name='O') dataset_xl_Or =pd.read_excel('E:/Gidrolodge_.xlsx', sheet_name='Or') dataset_xl_I =pd.read_excel('E:/Gidrolodge_.xlsx', sheet_name='I') dataset_xl = pd.concat([dataset_xl_O, dataset_xl_Or, dataset_xl_I]) X_ = dataset_xl[['L', 'C', 'D']].values X=pd.DataFrame(X_) X.fillna(0)
Отредактировано Volodya (Март 9, 2020 18:54:28)
#2 Март 11, 2020 18:30:53
Vladimirv Зарегистрирован: 2013-03-22 Сообщения: 108 Репутация: 7 Профиль Отправить e-mail
Удаление ‘nan’ в pandas
От нан можно избавиться несколькими способами, удалить строку/столбец с нан или обычно заменить нан на нуль(или еще что-то).
df.fillna(0) # на 0
Удаляют с помощью .drop(), ищут что удалять например через .isna().
#3 Март 12, 2020 13:06:41
Volodya Зарегистрирован: 2020-02-13 Сообщения: 22 Репутация: 0 Профиль Отправить e-mail
Удаление ‘nan’ в pandas
Vladimirv
Удаляют с помощью .drop(), ищут что удалять например через .isna().
Да через неё и сделал:
def Not_Nane_str(dataset): mask = dataset.isna() for i in range(0,len(dataset)): for j in range(0,len(dataset.iloc[i])): if (mask.iat[i, j]) == True: dataset.iat[i, j]=float(0) elif dataset.iat[i, j]=='-': dataset.iat[i, j]=0 else: dataset.iat[i, j]=float(str(dataset.iat[i, j]).replace(',','.').replace(' ','')) return dataset
Как удалить строки со значениями NaN в Pandas
Часто вас может заинтересовать удаление строк, содержащих значения NaN, в кадре данных pandas. К счастью, это легко сделать с помощью функции pandas dropna() .
В этом руководстве показано несколько примеров использования этой функции в следующих pandas DataFrame:
import numpy as np import scipy.stats as stats #create DataFrame with some NaN values df = pd.DataFrame() #view DataFrame df rating points assists rebounds 0 NaN NaN 5.0 11 1 85.0 25.0 7.0 8 2 NaN 14.0 7.0 10 3 88.0 16.0 NaN 6 4 94.0 27.0 5.0 6 5 90.0 20.0 7.0 9 6 76.0 12.0 6.0 6 7 75.0 15.0 9.0 10 8 87.0 14.0 9.0 10 9 86.0 19.0 5.0 7 Пример 1. Удаление строк с любыми значениями NaN
Мы можем использовать следующий синтаксис, чтобы удалить все строки, которые имеют любые значения NaN:
df.dropna () rating points assists rebounds 1 85.0 25.0 7.0 8 4 94.0 27.0 5.0 6 5 90.0 20.0 7.0 9 6 76.0 12.0 6.0 6 7 75.0 15.0 9.0 10 8 87.0 14.0 9.0 10 9 86.0 19.0 5.0 7 Пример 2. Удаление строк со всеми значениями NaN
Мы можем использовать следующий синтаксис, чтобы удалить все строки, содержащие все значения NaN в каждом столбце:
df.dropna (how='all') rating points assists rebounds 0 NaN NaN 5.0 11 1 85.0 25.0 7.0 8 2 NaN 14.0 7.0 10 3 88.0 16.0 NaN 6 4 94.0 27.0 5.0 6 5 90.0 20.0 7.0 9 6 76.0 12.0 6.0 6 7 75.0 15.0 9.0 10 8 87.0 14.0 9.0 10 9 86.0 19.0 5.0 7 В этом конкретном DataFrame не было строк со всеми значениями NaN, поэтому ни одна из строк не была удалена.
Пример 3. Удаление строк ниже определенного порога
Мы можем использовать следующий синтаксис, чтобы удалить все строки, которые не имеют определенного, по крайней мере , определенного количества значений, отличных от NaN:
df.dropna (thresh= 3 ) rating points assists rebounds 1 85.0 25.0 7.0 8 2 NaN 14.0 7.0 10 3 88.0 16.0 NaN 6 4 94.0 27.0 5.0 6 5 90.0 20.0 7.0 9 6 76.0 12.0 6.0 6 7 75.0 15.0 9.0 10 8 87.0 14.0 9.0 10 9 86.0 19.0 5.0 7 В самой первой строке исходного DataFrame не было по крайней мере 3 значений, отличных от NaN, так что это была единственная строка, которая была удалена.
Пример 4. Удаление строки со значениями Nan в определенном столбце
Мы можем использовать следующий синтаксис, чтобы удалить все строки, которые имеют значение NaN в определенном столбце:
df.dropna (subset=['assists']) rating points assists rebounds 0 NaN NaN 5.0 11 1 85.0 25.0 7.0 8 2 NaN 14.0 7.0 10 4 94.0 27.0 5.0 6 5 90.0 20.0 7.0 9 6 76.0 12.0 6.0 6 7 75.0 15.0 9.0 10 8 87.0 14.0 9.0 10 9 86.0 19.0 5.0 7 Пример 5: сброс индекса после удаления строк с NaN
Мы можем использовать следующий синтаксис для сброса индекса DataFrame после удаления строк со значениями NaN:
#drop all rows that have any NaN values df = df.dropna () #reset index of DataFrame df = df.reset_index(drop=True) #view DataFrame df rating points assists rebounds 0 85.0 25.0 7.0 8 1 94.0 27.0 5.0 6 2 90.0 20.0 7.0 9 3 76.0 12.0 6.0 6 4 75.0 15.0 9.0 10 5 87.0 14.0 9.0 10 6 86.0 19.0 5.0 77 Вы можете найти полную документацию по функции dropna() здесь .