「ついにAIを理解できた機械学習プロジェクト」 |ムハマド・ザキ著 | 2025 年 10 月

Enterを押すかクリックして画像をフルサイズで表示します

AI について何年も読んできたおかげで、 考える 分かりました。
何年にもわたってそれを使って構築した結果、 気づく 私はしませんでした。

数か月前、私はカスタマー サポート チケットを分析し、意図に基づいてタグ付けし、自動的にルーティングするシステムである「単純な」機械学習自動化プロジェクトを開始しました。何も派手なことはありません。 Python で構築されたエンドツーエンドの ML パイプラインです。

それは実験として始まりました。
それは完全な強迫観念に変わりました。

計画 (すぐに崩れ去った)

私の最初のアプローチは教科書通りでした。Pandas でデータをクリーンアップし、前処理に Scikit-learn を使用し、分類器をトレーニングし、Flask でデプロイしました。簡単ですよね？

私は次のようなことを書きました:

import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
df = pd.read_csv("support_tickets.csv")
X = TfidfVectorizer().fit_transform(df["message"])
y = df["intent"]
model = LogisticRegression().fit(X, y)It worked. Technically.

しかし、データセットを 10,000 チケットから 100,000 チケットにスケールした瞬間にブームが起こりました。システムが窒息してしまいました。
メモリが限界に達しました。トレーニングは最高に遅くなりました。
そしてその時、私は気づきました：私は…