1762748531
2025-11-10 04:18:00
ML ワークフロー全体を一から再構築しました。すべてがうまくいきました。
はじめに — 午前 3 時にパイプラインが壊れたとき
それは、「もう 1 台モデルを走らせよう」と考えている夜の出来事でした。
私は半分眠っていて、半分カフェインを摂取していて、これから発見しようとしていることに対してまったく準備ができていませんでした。
私はデータ パイプラインをトリガーし、いつものように静かに動作することを期待しました。代わりに、CPU が急上昇し、ログがこれまで見たことのない警告に爆発的に増加し、Jupyter ノートブック全体がお金を借りているかのようにフリーズするのを観察しました。私は回転するカーソルを見つめてこう思いました。 2020 年のようにまだこのワークフローを手動で実行しているのはなぜですか?
その夜、私は寝る代わりにすべてを再構築しました。そして、4 年間のデータ サイエンスの取り組みで初めて、私のプロセス全体がついに意味をなすようになりました。それは私が賢くなったからではなく、Python が私の代わりにほとんどの思考を行ってくれたからです。
ステップ 1 — データ取り込みを自動化して、CSV の子守をやめる
私たちが自分自身につく最大の嘘は、「後でデータセットをダウンロードします」です。
#Python #を使用してデータ #サイエンス #ワークフローを自動化しました #まるで魔法のように感じられます #マリアアリ著 #年 #月