Lý thuyết hệ thống phân tán
Trước tiênMình là Glutis, sinh viên ngành toán tại Hust, kỳ vừa rồi mình vừa học xong học phần hệ thống phân tán - mới thi xong môn này là tôi đã biết tình hình và điểm không mấy khả quan rồi và chả cả kỳ tôi cũng đi học đầy đủ và ghi chép cũng oke. Tôi ko muốn đống ghi chép này tồn đọng trên storage local lâu dài và cũng là để tôi nhớ thì tôi đăng lên đây cho ae cùng xem. Ghi chép chăm vlin mà đi thi chán ơi là chán.
Hệ thống phân tán là môn học quan trọng, ai học xong môn này thì có thể đi làm ...
Tìm hiểu công cụ ko thể thiếu cho DE - Airflow
Giới thiệuAirflow là một công cụ hữu ích cho DataEngineer dùng để lập lịch việc này đến việc kia, ….
Airflow cung cấp các khái niệm như “DAG” (Directed Acyclic Graph), “Task”, “Operator”, “Sensor” để mô tả quy trình xử lý dữ liệu
DAG
Hiểu đại khái là một đồ thị có hướng không có chu trình (do điểm đầu cuối ko trùng)
Mỗi DAG được định nghĩa trong 1 file trong folder dags
Các nút trong đồ thị là các tác vụ xử lý dữ liệu
Vòng đời của 1 tác vụ bao gồm:
No status: chưa được xếp hàng để thực hiện
S ...
Lấy dữ liệu từ facebook ads
5de5fbb7143a74a6c612097d3ea58edf26f101e9d284023c87d322b954f75e454a8c54dad7f9c6da2e37b93ed934d750aa286ea04de3ad290b6df7b24426ff7466b7f5b25eb7ed6a3afdd727b0053c80f5a0c7066f5875702ad57b9e5619acb448aded93c6c1eed2b71cf30f382c2e0a1739d942c7adcf1cff2d8b0c2e3e90b30521105bbedd2cd2a05894a6927c1184124be6f00d1d3b141779237c67c4e6103f3e16faa78861824f199f7fe58017d1cf54963df1601d02c9fa6130fac6b1a5d3ae09e87c67b50b95833ec120654829172b8c0112de694d6ca3b1b446ffa9c4d24c9e6175735d2c683eebb669cbed22ad04d336117c5a98d ...
Hướng dẫn crawl dữ liệu từ Pancake
Ingest Pancake: nguồn lấy về bằng apiTrong các loại dữ liệu phổ biển của doanh nghiệp việt nam thì pancake là ông tổ của các loại dữ liệu về cs chăm sóc khách hàng. Chúng ta không thể dương mắt nhìn đống data này chỉ có thể view trên web pancake.vn được. Chúng ta phải mang nó về xào qua các lượt và kết hợp nó với dữ liệu từ các nguồn khác của công ty để cho ra được những dashboard, những insight đẹp nhất.
Vì thế blog này ra đời ko chỉ vì lưu trữ kiến thức mà còn là vì nó vô cùng cần thiết, công ...
Linux và một số cái hay ho
I say hiXin chào, lâu rồi mới ló mặt ra chả là vì bận rộn công việc, rời bời chuyện đời tư hay vất vả trong chuyện học hành là những cái trì hoãn tôi trong việc tiếp tục sản xuất những nội dung mới lạ như này. Mất công học 5 6 khóa linux thì đọng lại trong đầu tôi ko phải chỉ có các câu lệnh nó bao gồm cả lịch sử, sự hình thành, các đời của linux - một OS tôi cực kỳ yêu thích.
Kiểu gì mấy cái này mai sau tôi chả quên, nên blog này sẽ là nơi note cái kiến thức về linux - em bé cánh cụt cute.
Sau ...
AWS - Những điều nhỏ nhặt bạn cần biết
HelloXin chào, đã lâu ko quay trở lại, hôm nay tình cờ bạn DA đi vằng và tôi ko có việc gì làm nên tôi có take note ra cái blog này những kiến thức vô cùng hữu ích khi bạn dùng AWS. Và đặc biệt bạn có thể mang những kiến thức này đi chém gió. Chắc gì đã có người biết những thứ nhỏ nhặt hay ho này.
Kiến thứcCloud WatchCloud watch ko chỉ dùng để check log nó còn có thể xây dựng một hệ thống để monitor các server, hệ thống của bạn và xây dựng dashboard từ các log đó, đùng coi thường services này vì ...
Giải cứu máy tính trong ngày đen tối, tôi sẽ recovery những gì đầu tiên 🤔
First of allỜm!
Xin chào, đã 4 năm kể từ lần cuối máy tính tôi được làm mới hoàn toàn bằng liệu pháp chuyển sinh sang một thế giới khác (ý tôi là cài lại win 🙂). Hiện tại con máy tính này đang sống khá vất vả với hàng đống dữ liệu, các apps, virut chạy ngầm triền miên. Thi thoảng lớ ngớ là con máy tính nó bật quạt sấy như lốc như bão.
Tuy nhiên máy tính tôi vẫn được coi là xịn xò, cân được tất cả mọi kèo, từ con game hàng khủng đến các thể loại LOL, truy kích, GA đến việc chạy các thuật toán ...
Tự động hóa đỉnh cao EC2 với tính năng user data
Lời đầuXin chào mình là Glutis - 1 sinh viên ngành toán tại HUST. Trong đợt nghỉ quốc khánh này mình có mày mò học một số khóa faster của aws trên aws education, học của vài khóa introduce thì học đến EC2 dù là base thôi nhưng mà ko thể coi nhẹ vì mình vừa phát hiện ra một tính năng độc lạ, thú vị. Nó giải quyết được vấn đề mà mình gặp phải trong vài tháng nay.
Đó là làm thế nào để một EC2 instance có thể tự khởi động server trước một khi start instance. Giải thích một chút do các instance sẽ mấ ...
Góc nhìn thực tế về giải thuật interview lời giải của tôi
Lời đầuTrước sau gì tôi cũng phải trực tiếp tham gia các buổi phỏng vấn trực tiếp và khó thể tránh khỏi việc phải ngồi làm các bài test trực tiếp về giải thuật. Rồi chuyện gì đến cũng đến, ngoài việc luyện thuật toán trên leetcode tôi sẽ làm thêm các giải thuật ở trên một số group nổi tiếng như VOZ, redis, các hội nhóm facebook.
Các bài toán ở đây do tôi sưu tầm + hoàn cảnh + vị trí ứng tuyển, một phần giúp tôi lưu trữ các ý tưởng, một phần để rèn luyện, một phần cũng để mọi người đánh giá và ch ...
Lý thuyết kẻ ngốc hơn
Thực tếDạo gần đây có lẽ mọi người đã nghe nhiều về giá bất động sản, khi nó như kiểu lạm phát ở Columbo những năm thế kỉ 19, cái giá của các bất động sản này tăng một cách khủng khiếp, phi mã. Giá ban đầu là 8tr/m2 sau khi đấu giá thì nó tăng lên 133tr/m2 trong khi đây chỉ là nhưng lô đất ở Hoài Đức - 1 huyện ngoại thành tại Hà Nội.
Sau khi nghe xong tin này tôi lại trầm ngâm nghĩ về tương lai, khi mà mình chỉ là một câu sinh viên chập chững chưa bòn xã hội được ra tiền chả là việc nghĩ đến đượ ...












