この仕事に応募するにはここをクリックしてください
Heitmeyer Consulting の銀行クライアントは、最高データ オフィス内で、高性能のリアルタイム データ パイプラインの構築と最適化を専門とする有能なデータ エンジニアを必要としています。この役割は、イベント ストリーミングには Apache Kafka、複雑でステートフルなストリーム処理と分析には Apache Flink の力を活用する上で中心となります。理想的な候補者は、生の高速データを、ストレージに S3 を活用した AWS ベースのデータ エコシステム内で動作し、コア ビジネス機能を推進する実用的な低遅延の洞察に変換することです。役割はテキサス州ダラスまたはオクラホマ州タルサに拠点を置く必要があります。
最も必要なスキル:
- 広範囲にわたる必要がある としての経験 データエンジニア リアルタイム システムに重点を置いた実稼働グレードのデータ パイプラインの構築と維持。
- Apache Kafka の深い経験と、状態管理、フォールト トレランス、時間セマンティクスの理解など、Apache Flink の実践経験。
- 重要な雲の背景 と データ エンジニアリング (S3、MSK、Glue、Athena、EMR、DynamoDB など) に関連する AWS クラウド サービスに関する強力な専門知識。
- の習熟度 Python、Java、Scala などのプログラミング/スクリプト言語。
- に精通している 最新のデータスタックとビッグデータテクノロジー (Spark、Airflow、Iceberg、SQL) に加えて、分散システムの理解と大規模なリアルタイム データの処理を学びます。
- 優れた問題解決スキルと、分散システムにおける複雑な問題のトラブルシューティングを行う能力。
あると便利:
- 金融サービスの経験があることが望ましいですが、必須ではありません。
主な責任
- 堅牢で高スループット、低遅延のストリーミング アプリケーションを設計、開発、展開する Apache Flink と Java/Scala/Python API を使用します。
- Kafka ベースのイベント駆動型システムを設計および最適化するこれには、トピックの設計、スキーマ レジストリによるスキーマの適用、Kafka Connect を使用した統合が含まれます。
- データ変革をリードする Flink ジョブ内の複雑なビジネス ロジック、ステートフル処理、ウィンドウ処理、データ エンリッチメントの実装を通じて、生の Kafka ストリームを分析対応のデータセットに変換し、1 回限りのセマンティクスとフォールト トレランスを保証します。
- クラウド統合を確実にする ストレージを使用して、AWS S3 で処理されたデータを効率的に管理し、場合によっては Apache Iceberg のようなオープン形式を使用して、ダウンストリーム分析ツール (Athena など) とシームレスに接続します。
- パフォーマンスと可観測性を最適化 – Flink と Kafka の構成を調整して、最大のパフォーマンス、効率、拡張性を実現し、実稼働環境向けの堅牢な監視とアラートを実装します。
- 緊密なパートナー関係 データ サイエンティスト、ソフトウェア エンジニア、ビジネス関係者と協力して、機能要件を信頼性の高いデータ処理ソリューションに変換します。
- チャンピオン ソフトウェアエンジニアリングのベストプラクティスこれには、自動テスト、コード レビュー、CI/CD パイプライン、データ リネージュとロジックのドキュメントが含まれます。
ハイトマイヤー コンサルティングは機会均等な雇用主であり、資格のある候補者全員が応募することをお勧めします。適格な応募者は、マイノリティの立場、性別、障害、退役軍人の地位、または法律で保護されているその他の特性に関係なく考慮されます。
この仕事に応募するにはここをクリックしてください
#データ #エンジニア #テキサス州ダラス