NewsCatcher News APIでWebクローリング＆スクレイピングエンジニアを募集しています

🌟 私たちは、高度なスキルと意欲のある Web クローリングおよびスクレイピング エンジニアを求めています。私たちは毎日 10 万以上のニュース Web サイトを巡回しており、私たちと同じように Web クローリングに情熱を持っている人を探しています。ウェブサイトの困難なケースに対処し、クローリング技術を自動化する新しい方法を探ることに興味があります。

機能:

• クロール プラットフォーム: 堅牢で信頼性が高く、スケーラブルなクロール パイプライン インフラストラクチャを設計、構築、テスト、維持します。
• 動作していないクローラーを自動的に修正する方法を追加する
• Web サイトのカバレッジに関する指標を提供する
• データパイプライン:
• 堅牢で信頼性の高いデータ パイプライン インフラストラクチャを設計、構築、テスト、維持します。
• 自動化と単体テスト
• 最適化: サーバーのパフォーマンスとクローリング インフラストラクチャのリソース使用率を最適化します。
• システムのパフォーマンスと拡張性を定期的に見直し、改善します。
• コラボレーションと文書化: サーバーの構成、手順、ポリシーに関する正確かつ最新の文書を維持します。
• 必要に応じてチームメンバーに技術サポートとトレーニングを提供します。

タスクの例:

• 既存の技術では機能しない、Web サイトを自動的にクロールする新しい方法を導入します。
• 特定のクローラーが動作しなくなった理由を検証し、自動的に修正する方法についてアイデアを考える
• LLM メソッドを使用してクロール方法を改善する

経験：

• Web クローリングおよびスクレイピング エンジニアまたは同様の役割としての実績のある経験。
• WebスクレイピングとWebクローリング技術
• RabbitMQ などのストリーミング/バッチ データ処理フレームワーク。
• SQL および NoSQL データベースに関する確かな知識
• Kubernetes / Docker は必須です
• 強力な問題解決スキル
• 優れたコミュニケーション能力とコラボレーション能力。

あると便利:

• ElasticSearch (OpenSearch) の経験

あなたの KPI:

• Web サイトごとの動作していないクローラーの数 (小さい必要があります)
• クローラーがダウンしてから修正を思いつくまでの時間 (短いはずです)

報酬と特典:

• 競争力のある給与と資本。
• 最大24日間の休暇と16日間の病気休暇/休暇（すべて全額有給）
• 学習と開発の補償
• 週に 1 日は会議のない日
• コワーキング予算
• トレーニング予算
• 自宅で快適かつ効率的に仕事をするために必要なすべての機器を提供します。
• 年次社員旅行（2024年 – カナリア諸島、2023年 – フレンチ・アルプ）

必要なツール:

‍