Học gì để trở thành một Data Engineer
Theory
DA is developmenter, bult, test and contain knowledge: database, process big system
DA process raw data contain error of people, machine or tool.
Tools, language and softwareForeign
SAP, Oracle, Cassandra, MySQL, Redis, Riak, PostgreSQL, MongoDB, neo4j, Hive, and Sqoop
A point the same with Data science is Scala, Java, C#
Have a lot of knowlegde about computer engineering, operate, sensitive(nhạy bén) in business
Domestic(Nội địa)
Data warehouse $ ETL(Extract, Transform, Load—Trích s ...
Nghiên cứu khoa học như thế nào ở đại học
Cách đọc
Cách tiếp cận học tập và nghiên cứu toán học có thể khai mở một thế giới mới của khám phá và ứng dụng. Khi chúng ta bắt đầu đọc sách với câu hỏi “Toán học ở đâu và ứng dụng vào đâu”, chúng ta không chỉ mở rộng kiến thức mà còn nuôi dưỡng niềm đam mê tìm tòi. Điều này khuyến khích chúng ta đi sâu vào bản chất của các công thức toán học, khám phá không chỉ cách chúng hoạt động mà còn lý do tại sao chúng lại quan trọng.
Ví dụ, khi chúng ta hiểu rõ các ứng dụng thực tế của môn học, từ lý th ...
Mẹo hay cho máy tính của bạn
Mẹo hay cho my laptop:
Window + R :
gõ cmdtiếp sau đó gõ netsh wlan show interfaces
$\Rightarrow$ Nó sẽ hiện đầy đủ về symterm wi-fi của laptop, tại dòng signal sẽ thông báo kết quả độ mạnh của cái wi-fi hiện tại laptop đang sử dụng.
gõ color a chữ thành màu xanh./ tương tự đối với các màu khác color + ‘c’
Word ẩn dữ liệu hoặc chữ trong file:
ctrl A
Ctrl Shift H
$\Rightarrow$ ẩn hết chữ mà lúc gửi đi người gửi cx nhìn thấy trắng, làm ngược lại để khôi phục.
Muốn xem cá bơi trên lapt ...
Terraform
Terraform CLI /Command baseĐã dùng terraform thì không update bằng tay nếu không sẽ sửa lỗi rất là mệt, tác động vào resource đã deploy thì thôi 😊
Lệnh generate ssh key-pair tự động
ssh-keygen -t rsa -b 4096 -C “caotruongson16052003@gmail.com”
Khởi tạo dự án tf
terraform init
Lên kế hoạch xem tf làm gì với resource, thường dùng để check, lưu ý màu đỏ phải cần thận và phải đọc rõ note
Terraform plan
Apply triển khai lên aws account
Terraform apply
Các trường hợp dẫn tới thay ...
Note câu hỏi phỏng vấn Data Engineer
5de5fbb7143a74a6c612097d3ea58edfc572c6c1556d6e1d64188133d41dac695674020005ea6f91b2d6c47a60ffb77ab29e5fe9e3bf15e748b14238fde4cf7ef7ff327b6ac5e6c3c50c03258b8b837ac26963b3f6c147c3c92e46ba666259e26d602cc9a51366a57e8cc4d5d79279a5d5609a3678ab2881d5a384ea885b5b9346a13e5980134d9b6029e9f9a409b9b784b1ea970495db98ce5920cf5bd2c7deb292cf0542bc3824df6e417a2a9995c2eee2e7347ba2cb0821a553997be671fe05c1a3fa7c563c226b1b50523d4ad03d9e46f6ece06721e7afe179352af016ac2a415300f3194715b0208f60a641a03ce34a929c246db0604 ...
“Cuộn cuộn” W1ndys_bot Sử dụng Hướng dẫn
Chức năng chínhHiện tại, Cuộn cuộn có các chức năng chính:Phản hồi từ khóa Quản lý nhóm nhanh Giám sát từ cấm Hẹn giờ Tạo ảnh kỳ lạ Yêu cầu bài hát Trò chơi đoán bạn trong nhóm
ChatLearning————Hướng dẫn sử dụng học nói chuyện với bạn trong nhóm
Hướng dẫn sử dụng Mirai Administrator
HuYanSession2——Hướng dẫn sử dụng Khẩu Ngữ Hội Thoại 2
Hướng dẫn sử dụng MuteGames
Phản hồi từ khóaCác lệnh liên quan xem ở đây
Quản lý nhóm nhanhCác lệnh liên quan xem ở đây
Giám sát từ cấmCác lệ ...
Cách sử dụng nội dung chính trong bài đăng trên blog Hexo
https://Hexo.io/zh-cn/docs/front-matter
Front-matterFront-matter là phần nằm ở đầu của mỗi tệp, được phân cách bằng ---, dùng để chỉ định các biến cho từng tệp cụ thể. Ví dụ:
1234---title: Hello Worlddate: 2013/7/13 20:46:25---
Dưới đây là các tham số được định nghĩa sẵn, bạn có thể sử dụng và tận dụng những giá trị này trong template của mình.
Tham số
Mô tả
Giá trị mặc định
layout
Bố cục
config.default_layout
title
Tiêu đề
Tên tệp của bài viết
date
Ngày tạo
Ngày tạo tệp
updated
Ng ...
Cách đổi ngôn ngữ của Kali Linux sang tiếng Trung
Lời nhắc nhở thân thiệnChụp ảnh nhanh trước khi sửa đổi để tránh các sự cố do thao tác sửa đổi không chính xác gây ra!
Mở thiết bị đầu cuối
Mở cài đặt
đi vào
1dpkg-reconfigure locales
Sửa đổi cài đặt
Thay đổi en_US.UTF-8 UTF-8 thành không được chọn
Những cái bên dưới có * đã được kiểm tra.
Sử dụng phím mũi tên lên xuống để di chuyển dấu chấm màu đỏ (biểu thị tùy chọn hiện đang được chọn) sang en_US.UTF-8 UTF-8 và nhấn dấu cách để biểu thị không được chọn/đã chọn
Dùng dấu cách để kiểm tra 2 t ...
Hãy nhớ tìm hiểu về các hành động trên Github
Lời nói đầuChuyện gì đang xảy ra vậy? Trong một thời gian dài, việc cập nhật ngày của Easy-QFNU của tôi không có tác dụng gì vì plug-in không phù hợp. Tôi chỉ chỉnh sửa ngày bằng tay và giải mã cứng. sau này tôi cảm thấy hiệu quả quá thấp nên đã viết một tập lệnh Python để triển khai các bản cập nhật hàng loạt, nhưng sau đó tôi cảm thấy nó chưa đủ linh hoạt nên tôi đã nghĩ đến việc sử dụng các hành động Github để tự động thực thi các tập lệnh cho các bản cập nhật mà tôi tình cờ thấy. kho lưu trữ ...
MongoDB
MongoDB /MongoDB là một cơ sở dữ liệu NoSQL hàng đầu, được thiết kế để lưu trữ dữ liệu theo định dạng BSON (một biến thể của JSON), giúp nó trở nên linh hoạt và dễ sử dụng. Được ra mắt vào năm 2009, MongoDB đã nhanh chóng trở thành một trong những lựa chọn phổ biến nhất cho các ứng dụng cần quản lý khối lượng lớn dữ liệu phi cấu trúc hoặc bán cấu trúc do khả năng mở rộng ngang và dọc hiệu quả.
Connect DBStart_mongoTại terminal gõ:
start_mongo
Create a DB:1db.createCollection("bigdata" ...