机器学习开发环境搭建：Python、NumPy、pandas 与 Jupyter 生态实战

# 创建虚拟环境（Python 3.10+ 内置 venv）
python3 -m venv ml_env

# 激活（macOS / Linux）
source ml_env/bin/activate

# 激活（Windows PowerShell）
# ml_env\Scripts\activate

# 此时提示符前会出现 (ml_env)，包只装在这个环境里

deactivate          # 退出当前虚拟环境
rm -rf ml_env      # 删除整个环境（重来成本极低）

pip install --upgrade pip
# 国内可配置镜像加速（示例：清华源）
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

pip install numpy pandas matplotlib scikit-learn jupyter

import numpy as np
import pandas as pd
import matplotlib
import sklearn

print("NumPy 版本:", np.__version__)
print("pandas 版本:", pd.__version__)
print("Matplotlib 版本:", matplotlib.__version__)
print("scikit-learn 版本:", sklearn.__version__)

pip check                       # 检查依赖冲突
pip list --outdated             # 查看可更新包
pip freeze > requirements.txt   # 导出当前环境快照

jupyter notebook   # 经典版
jupyter lab        # 新一代界面（推荐）

import numpy as np

a = np.array([1, 2, 3])
b = np.array([4, 5, 6])

print(a + b)          # [5 7 9]  逐元素相加
print(a * 2)          # [2 4 6]  广播
print(a.dot(b))       # 32       点积

# 多维数组
m = np.zeros((2, 3))  # 2行3列全0
print(m.shape)        # (2, 3)

data = np.array([1, 5, 3, 9, 7])
mask = data > 4
print(data[mask])     # [5 9 7]  过滤出大于4的元素

print(data[1:4])      # [5 3 9]  切片

np.random.seed(42)                 # 固定随机种子，保证结果可复现
x = np.random.randn(1000)          # 标准正态分布 1000 个点
print(x.mean(), x.std())           # 约 0 和 1

import pandas as pd

df = pd.DataFrame({
    '姓名': ['张三', '李四', '王五'],
    '年龄': [25, 32, 28],
    '城市': ['北京', '上海', '深圳'],
})
print(df)

df = pd.read_csv('housing.csv')       # 最常用：读 CSV
df = pd.read_excel('data.xlsx')      # 读 Excel（需 openpyxl）
print(df.head())                     # 看前 5 行
print(df.info())                     # 列类型与缺失值概览
print(df.describe())                 # 数值列的统计摘要

df['area']                          # 选一列
df[['area', 'price']]               # 选多列
df[df['area'] > 100]                # 按条件过滤行
df.iloc[0:5]                        # 按位置取前5行
df.loc[df['city'] == '北京']         # 按标签/条件取行

df.isnull().sum()                   # 每列缺失数量
df = df.dropna()                    # 删掉含缺失的行
df['age'] = df['age'].fillna(df['age'].mean())   # 用均值填充

# 按城市分组，计算平均年龄
city_mean = df.groupby('城市')['年龄'].mean()
print(city_mean)

import matplotlib.pyplot as plt

plt.scatter(df['area'], df['price'])
plt.xlabel('面积 (m²)')
plt.ylabel('价格 (万元)')
plt.title('面积与房价散点图')
plt.show()          # Jupyter 里可直接显示

plt.hist(df['age'], bins=20, edgecolor='black')
plt.title('年龄分布')
plt.show()

fig, axes = plt.subplots(1, 2, figsize=(10, 4))
axes[0].scatter(df['area'], df['price'])
axes[0].set_title('面积 vs 价格')
axes[1].hist(df['age'], bins=15, edgecolor='black')
axes[1].set_title('年龄分布')
plt.tight_layout()
plt.show()

import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error

# 1. 造数据：面积 → 房价（带噪声）
np.random.seed(42)
n = 200
area = np.random.uniform(30, 200, n)
price = 2 * area + 50 + np.random.normal(0, 20, n)
df = pd.DataFrame({'area': area, 'price': price})

# 2. 切分训练集/测试集
X = df[['area']]
y = df['price']
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=42)

# 3. 训练模型
model = LinearRegression()
model.fit(X_train, y_train)

# 4. 预测与评估
y_pred = model.predict(X_test)
mse = mean_squared_error(y_test, y_pred)
print("均方误差 MSE:", round(mse, 2))
print("系数(每㎡价值):", round(model.coef_[0], 2))
print("截距:", round(model.intercept_, 2))

输出示例：
均方误差 MSE: 393.51
系数(每㎡价值): 2.02
截距: 48.76

# 法则1：每个项目一个虚拟环境
python3 -m venv .venv && source .venv/bin/activate

# 法则2：项目根目录放 requirements.txt
pip freeze > requirements.txt

# 法则3：换机器/同事协作时一键重建
python3 -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt