Кейс 5: Описательная статистика и анализ данных в Python с использованием Pandas

Создайте файл в Jupiter notebook, назовите его фамилия_№группы.

Загрузка данных: Загрузите набор данных из CSV-файла и отобразите первые 5 строк, чтобы убедиться в корректной загрузке.

Используйте pd.read_csv() для загрузки данных и метод .head() для вывода первых 5 строк.

Очистка данных от дубликатов: Проверьте данные на наличие дубликатов и удалите их, если они есть.

Используйте .duplicated().sum() для подсчета дубликатов и .drop_duplicates() для их удаления.

Проверка и обработка пустых значений: Проверьте данные на наличие пустых значений, а затем удалите или замените их, если они есть.

Используйте .isnull().sum() для проверки пустых значений и .fillna() или .dropna() для их обработки.

Подсчет частоты значений: Выберите один из категориальных столбцов и подсчитайте частоту каждого значения в этом столбце.

Используйте метод .value_counts() для подсчета частоты значений и выведите результат.

Среднее арифметическое: Найдите среднее арифметическое для одного из числовых столбцов данных.

Используйте метод .mean() для вычисления среднего арифметического и выведите результат.

Медиана: Определите медиану для одного из числовых столбцов.

Примените метод .median() для вычисления медианы и выведите результат.

Мода: Определите моду для выбранного столбца.

Используйте метод .mode() для нахождения моды и выведите результат.

Размах (максимум - минимум): Вычислите размах значений в выбранном числовом столбце.

Найдите минимум с помощью .min() и максимум с .max(), затем вычтите минимум из максимума.

Стандартное отклонение: Найдите стандартное отклонение для одного из числовых столбцов, чтобы определить разброс значений относительно среднего.

Используйте метод .std() для вычисления стандартного отклонения и выведите результат.

Коэффициент вариации: Рассчитайте коэффициент вариации, который показывает отношение стандартного отклонения к среднему значению.

Вычислите коэффициент вариации, поделив стандартное отклонение на среднее, и выведите результат в процентах.

Общая описательная статистика: Получите общую описательную статистику для числовых данных в DataFrame.

Примените метод .describe() для всех числовых столбцов и выведите результат.

Квантильное распределение: Найдите квантильные значения (25%, 50%, 75%) для одного из числовых столбцов, чтобы изучить распределение данных.

Используйте метод .quantile([0.25, 0.5, 0.75]) для расчета квартилей и выведите результат.

Выборка данных по условиям: Отфильтруйте данные, выбрав строки, где значение в одном из числовых столбцов превышает среднее значение.

Используйте условную фильтрацию и выведите результат.

Корреляция между столбцами: Вычислите корреляцию между двумя числовыми столбцами, чтобы понять, есть ли зависимость между ними.

Используйте метод .corr() и выведите результат для двух выбранных столбцов.

Построение распределения данных: Постройте гистограмму для одного из числовых столбцов, чтобы визуализировать распределение значений.

Используйте метод .hist() для построения гистограммы и проанализируйте распределение данных.

Определение выбросов: Используя метод межквартильного размаха, определите выбросы для одного из числовых столбцов.

Вычислите IQR и установите порог для выбросов: значения ниже (Q1 - 1.5 * IQR) и выше (Q3 + 1.5 * IQR). Выведите строки, содержащие выбросы.

Удаление выбросов: Удалите строки, содержащие выбросы, определенные в предыдущем задании, и отобразите размер очищенного набора данных.

Примените фильтрацию по условиям, исключая строки с выбросами, и выведите размер нового набора данных.

Финальный анализ и отчет: Создайте сводный отчет, включающий общую информацию по описательной статистике, количество строк до и после очистки, количество выбросов и основные наблюдения.

Соберите информацию по всем предыдущим показателям и отобразите её в виде итогового отчета (можно использовать текстовое описание или DataFrame).